ESP32-S3 Kör Modell Med 28,9 Miljoner Parametrar Offline
En ukrainsk utvecklare har framgångsrikt implementerat en AI-modell med 28,9 miljoner parametrar på Espressifs ESP32-S3 utvecklingskort. Projektet möjliggör offline-funktionalitet för exempelvis avancerade kaffemaskiner.
Den ukrainska utvecklaren Slava S har uppnått en betydande milstolpe inom lokal AI-hantering genom att framgångsrikt implementera en AI-modell med 28,9 miljoner parametrar på Espressif ESP32-S3 utvecklingskortet. Detta överskrider kraftigt tidigare begränsningar som tillät endast modeller med upp till cirka 260 000 parametrar på liknande plattformar.
Projektet använder sig av "Per-Layer Embeddings"-teknik, liknande den som används i Google Gemma. Efter en 4-bitars kvantisering reduceras modellens filstorlek till 14,9 MB. Utvecklaren lyckades lagra modellens parametrar, inklusive en 25M parameter-inbäddningstabell, på kortets 16 MB flashminne. Generering av varje "token" kräver endast läsning av en liten del av inbäddningstabellen.
ESP32-S3 utvecklingskortet är utrustat med 512 KB SRAM och 8 MB PSRAM. Trots den nu ökade kapaciteten för AI-modeller, är kortet inte lämpligt för krävande applikationer som chattbottar eller programmeringsverktyg på grund av dess begränsade minne.
Som ett potentiellt användningsområde föreslår utvecklaren ett smart, offline-kapabelt kaffemaskinsystem. En sådan enhet skulle kunna använda AI för att generera innehåll relaterat till val av kaffebönor, malningsgrad, blandningsförhållanden och vattentemperatur, vilket erbjuder en skräddarsydd upplevelse utan behov av internetanslutning.