PrismML intègre ses petits LLM aux lunettes connectées sous Qualcomm

La startup spécialisée dans l'IA, PrismML, a présenté une version de ses petits modèles de langage (LLM) conçus spécifiquement pour fonctionner sur des lunettes connectées équipées des puces Snapdragon de Qualcomm. L'entreprise a dévoilé cette technologie lors du Snapdragon Summit de Qualcomm.

Le LLM Bonsai 1-bit de PrismML peut être exécuté localement sur des lunettes connectées basées sur la plateforme Snapdragon AR1 Gen 1. L'objectif général de la startup est de créer une IA à poids ouvert fonctionnant sur les appareils, en exploitant leur puissance de calcul existante. Cette approche est présentée comme une alternative aux services d'IA basés sur le cloud, abordant ainsi les préoccupations en matière de confidentialité et les exigences élevées en matière de calcul.

Le cœur de la technologie de PrismML réside dans la réduction significative de la taille des grands modèles de langage tout en conservant près de 100 % de leurs performances sur les benchmarks standards. La version adaptée aux lunettes connectées est un modèle de 2 milliards de paramètres, optimisé pour les tâches liées à la vision et au langage. Cela permet aux utilisateurs de poser des questions en temps réel sur ce qu'ils voient.

Bien que PrismML ait désormais rendu son modèle opérationnel sur les puces Qualcomm, aucun fabricant de lunettes connectées n'a encore annoncé de produit utilisant la technologie de PrismML. La vision de l'entreprise se concentre sur le développement de capacités d'IA plus distribuées et embarquées sur l'appareil.