ESP32-S3 Führt KI-Modell mit 28,9 Millionen Parametern Offline Aus
Ein ukrainischer Entwickler hat erfolgreich ein KI-Modell mit 28,9 Millionen Parametern auf dem ESP32-S3 Entwicklungsboard von Espressif implementiert. Das Projekt ermöglicht Offline-Funktionalität für Anwendungen wie fortschrittliche Kaffeemaschinen.
Der ukrainische Entwickler Slava S hat einen bedeutenden Fortschritt in der lokalen KI-Verarbeitung erzielt, indem er erfolgreich ein KI-Modell mit 28,9 Millionen Parametern auf dem ESP32-S3 Entwicklungsboard von Espressif implementiert hat. Dies stellt eine erhebliche Steigerung gegenüber früheren Einschränkungen dar, die auf ähnlichen Plattformen typischerweise nur Modelle mit etwa 260.000 Parametern erlaubten.
Das Projekt nutzt die "Per-Layer Embeddings"-Technologie, ähnlich der von Google Gemma. Nach einer 4-Bit-Quantisierung reduziert sich die Dateigröße des Modells auf 14,9 MB. Dem Entwickler gelang es, die Modellparameter, einschließlich einer 25M-Parameter-Einbettungstabelle, im 16 MB Flash-Speicher des Boards unterzubringen. Die Generierung jedes Tokens erfordert nur das Auslesen eines kleinen Teils dieser Einbettungstabelle.
Das ESP32-S3 Entwicklungsboard verfügt über 512 KB SRAM und 8 MB PSRAM. Obwohl es nun ein deutlich größeres KI-Modell verarbeiten kann, sind seine Speicherbeschränkungen dafür ausgelegt, dass es nicht für rechenintensive Aufgaben wie Chatbots oder Programmierhilfen geeignet ist.
Als potenzielle Anwendung stellt sich der Entwickler ein intelligentes, offline-fähiges Kaffeemaschinensystem vor. Ein solches Gerät könnte KI nutzen, um Inhalte bezüglich der Auswahl von Kaffeebohnen, Mahlgrad, Mischungsverhältnissen und Wassertemperatur zu generieren und ein personalisiertes Erlebnis ohne Internetverbindung zu bieten.