Xiaomi met à jour l'architecture MiMo-V3 avec la technologie HySparse2
Xiaomi met à jour son modèle MiMo-V3 avec une nouvelle architecture intégrant la technologie HySparse2. Cette conception vise à réduire les coûts liés à l'inférence de long contexte et à améliorer la récupération de données pour les charges de travail agentives.
Xiaomi procède à une mise à jour architecturale significative de son modèle d'intelligence artificielle MiMo-V3. Le cœur de cette évolution réside dans la technologie HySparse2, conçue pour abaisser substantiellement les coûts liés au traitement de contextes de données étendus et améliorer l'efficacité de la récupération d'informations dans les applications basées sur des agents.
Fuli Luo, responsable du projet Xiaomi MiMo, a confirmé ces changements. HySparse2 est spécifiquement développée pour réduire les coûts d'inférence des longs contextes. L'entreprise indique que cette technologie peut diminuer le calcul de pré-remplissage jusqu'à 5,02 fois et le cache KV de 4,5 fois lors du traitement de contextes dépassant un million de tokens.
Ces avancées pourraient avoir des implications majeures pour le développement de l'IA, permettant potentiellement une analyse plus efficace et économique de documents volumineux, d'historiques de conversation ou d'autres ensembles de données de grande taille. Ces améliorations visent à rendre les applications d'IA sophistiquées plus accessibles.
Xiaomi a également rapporté des gains de performance sur plusieurs benchmarks, notant des scores MRCRv2 et RULER-v2 plus élevés. Parallèlement, les résultats AgentPPL et LongPPL ont diminué, indiquant une capacité accrue du modèle à comprendre et à générer du texte cohérent même sur des entrées étendues.