Xiaomi dévoile l'architecture HySparse2 pour améliorer l'efficacité des modèles d'IA
L'entreprise technologique chinoise Xiaomi a dévoilé sa nouvelle architecture centrale HySparse2 pour son modèle MiMo-V3. Le nouveau système améliore considérablement la capacité des modèles d'IA à traiter et récupérer des informations à partir de contextes longs et de tâches complexes.
La société technologique chinoise IT Home (Xiaomi) a présenté sa nouvelle architecture centrale HySparse2 pour son modèle MiMo-V3. Cette architecture est conçue pour améliorer les performances et l'efficacité des agents d'IA qui traitent des tâches à long contexte et à plusieurs tours, en particulier lors du traitement de données étendues telles que des pages Web, des documents et du code.
HySparse2 vise à réduire les coûts de calcul et l'utilisation de la mémoire tout en améliorant la précision de la récupération d'informations à partir d'historiques de tâches croissants. L'entreprise affirme que l'architecture permet aux modèles de traiter efficacement de grands ensembles de données, tels que des pages Web et des fichiers, et d'extraire des informations critiques de conversations et de séquences de tâches complexes.
La nouvelle architecture s'appuie sur le modèle HySparse précédent en améliorant le partage du KV Cache et les mécanismes de sélection clairsemée. Elle intègre une approche de partage du KV à deux niveaux et une sélection clairsemée au niveau des tokens, permettant une récupération d'informations plus précise sans augmentation substantielle de la puissance de calcul. Le modèle peut également surveiller en continu les informations les plus récentes, ce qui est crucial pour les processus à plusieurs étapes.
Xiaomi rapporte qu'HySparse2 réduit considérablement les calculs de Prefill et les besoins en KV Cache par rapport aux modèles précédents. Lors de tests avec un million de tokens, le calcul de Prefill a été réduit à un cinquième, et l'utilisation du KV Cache est tombée à 2,7 Go. Cela réduit considérablement la charge de calcul et permet des réponses plus rapides, ce qui est particulièrement important pour les applications d'IA nécessitant de longs contextes.