LG Uplus et OptAI s'associent pour l'optimisation des tokens d'IA
La société sud-coréenne de télécommunications LG Uplus s'est associée au spécialiste de l'optimisation des modèles d'IA, OptAI, pour développer une technologie visant à améliorer l'efficacité du traitement de l'IA. L'objectif est de réduire l'utilisation des GPU et la consommation d'énergie.
LG Uplus, une entreprise sud-coréenne de télécommunications, a annoncé le 2 octobre un partenariat avec OptAI, un spécialiste de l'optimisation des modèles d'intelligence artificielle. Cette collaboration vise à développer une technologie d'optimisation des tokens conçue pour réduire l'utilisation des unités de traitement graphique (GPU) et la consommation d'énergie, tout en améliorant l'efficacité globale du traitement par l'IA.
Les tokens sont les unités de données fondamentales que les systèmes d'intelligence artificielle traitent lors de la gestion des requêtes des utilisateurs et de la génération de réponses. OptAI se concentrera sur le développement d'outils d'exécution de modèles d'IA plus légers et plus rapides, tandis que LG Uplus utilisera ses opérations de services d'IA pour tester et appliquer la nouvelle technologie.
Dans des travaux antérieurs portant sur un petit modèle linguistique basé sur la famille de modèles Exaone de LG AI Research, les entreprises auraient réussi à faire fonctionner le modèle sur des unités de traitement neuronal (NPU) de smartphones. Cette approche a atteint des performances comparables aux méthodes basées sur CPU, avec une réduction de 82 % de la taille du modèle et une diminution de 78 % de la consommation d'énergie.
Les entreprises étendent désormais ce développement aux environnements GPU de serveurs. LG Uplus indique que la technologie a le potentiel d'augmenter jusqu'à quatre fois le nombre de tokens traités sur un seul GPU par rapport aux méthodes existantes. Cette avancée pourrait avoir un impact significatif sur l'efficacité et la scalabilité des opérations d'IA dans les centres de données.