ESP32-S3 Suorittaa 28,9 Miljoonan Parametrin Mallin Offline-tilassa

Ukrainalainen kehittäjä Slava S on toteuttanut merkittävän edistysaskeleen paikallisissa tekoälysovelluksissa asentamalla 28,9 miljoonan parametrin tekoälymallin Espressif ESP32-S3 -kehityskortille. Tämä on huomattava parannus aiempiin rajoituksiin, jotka ovat sallineet vain noin 260 000 parametrin mallien käytön samankaltaisilla alustoilla.

Projekti hyödyntää Google Gemman käyttämää kerrostettua upotustekniikkaa. Malli on kvantisoitu 4-bittisiin arvoihin, mikä pienentää sen tiedostokooksi 14,9 megatavua. Kehittäjä onnistui tallentamaan mallin parametrit 16 megatavun flash-muistiin, ja tokenien generointi vaatii vain vähäistä dataa upotustaulukosta.

ESP32-S3 -kehityskortti sisältää 512 kilotavun SRAM-muistin ja 8 megatavun PSRAM-muistin. Vaikka kortti pystyy nyt suorittamaan huomattavasti suuremman mallin, se ei sovellu esimerkiksi keskustelubottien tai ohjelmointisovellusten pyörittämiseen rajoitetun muistin vuoksi.

Kehittäjä ehdottaa mahdollisena käyttökohteena älykästä, offline-toimista kahvinkeittojärjestelmää. Tällainen laite voisi hyödyntää tekoälyä luomaan sisältöä esimerkiksi kahvipapujen valintaan, jauhatukseen, sekoitussuhteisiin ja veden lämpötilaan liittyen, tarjoten räätälöityjä kokemuksia ilman verkkoyhteyttä.