ESP32-S3 Exécute un Modèle IA de 28,9 Millions de Paramètres Hors Ligne
Un développeur ukrainien a déployé avec succès un modèle IA de 28,9 millions de paramètres sur la carte de développement ESP32-S3 d'Espressif. Ce projet permet un fonctionnement hors ligne pour des applications telles que les machines à café avancées.
Le développeur ukrainien Slava S a franchi une étape importante dans le traitement local de l'IA en déployant avec succès un modèle IA de 28,9 millions de paramètres sur la carte de développement ESP32-S3 d'Espressif. Ceci représente une augmentation substantielle par rapport aux limitations antérieures, qui permettaient généralement des modèles ne contenant qu'environ 260 000 paramètres sur des plateformes similaires.
Le projet utilise la technologie "Per-Layer Embeddings", similaire à celle employée par Google Gemma. Après une quantification en 4 bits, la taille du fichier du modèle est réduite à 14,9 Mo. Le développeur a réussi à stocker les paramètres du modèle, y compris une table d'intégration de 25 millions de paramètres, dans la mémoire flash de 16 Mo de la carte. La génération de chaque "token" ne nécessite la lecture que d'une petite partie de cette table d'intégration.
La carte de développement ESP32-S3 est équipée de 512 Ko de SRAM et de 8 Mo de PSRAM. Bien qu'elle puisse désormais gérer un modèle IA nettement plus grand, ses limitations de mémoire signifient qu'elle n'est pas adaptée aux tâches gourmandes en calcul comme les chatbots ou l'assistance à la programmation.
Comme application potentielle, le développeur envisage un système de machine à café intelligent et autonome. Un tel appareil pourrait exploiter l'IA pour générer du contenu lié à la sélection des grains de café, aux méthodes de mouture, aux ratios d'infusion et à la température de l'eau, offrant ainsi une expérience personnalisée sans nécessiter de connexion Internet.