Xiaomi aktualisiert MiMo-V3-Architektur mit HySparse2-Technologie
Xiaomi aktualisiert seine MiMo-V3-Modellarchitektur mit der HySparse2-Technologie. Das neue Design zielt darauf ab, die Kosten für die Verarbeitung langer Kontexte zu senken und die Abfrage für agentenbasierte Arbeitslasten zu verbessern.
Xiaomi führt ein bedeutendes Update der Architektur seines KI-Modells MiMo-V3 durch. Kernstück dieses Upgrades ist die HySparse2-Technologie, die entwickelt wurde, um die Kosten für die Verarbeitung umfangreicher Datenkontexte erheblich zu senken und die Effizienz der Datenabfrage in agentenbasierten Anwendungen zu verbessern.
Fuli Luo, Leiter des Xiaomi MiMo-Projekts, bestätigte die Änderungen. HySparse2 wurde speziell entwickelt, um die Kosten für die Inferenz bei langen Kontexten zu reduzieren. Laut Unternehmen kann die Technologie die Präfill-Berechnungen um bis zu das 5,02-fache und den KV-Cache um das 4,5-fache reduzieren, wenn Kontexte von über einer Million Tokens verarbeitet werden.
Diese Fortschritte könnten weitreichende Auswirkungen auf die KI-Entwicklung haben und potenziell eine effizientere und kostengünstigere Analyse von langen Dokumenten, Gesprächsverläufen oder anderen großen Datensätzen ermöglichen. Die Verbesserungen zielen darauf ab, anspruchsvolle KI-Anwendungen zugänglicher zu machen.
Xiaomi meldete zudem Leistungssteigerungen bei mehreren Benchmarks, darunter höhere MRCRv2- und RULER-v2-Werte. Gleichzeitig sanken die AgentPPL- und LongPPL-Ergebnisse, was auf die verbesserte Fähigkeit des Modells hinweist, kohärenten Text auch über erweiterte Eingaben hinweg zu verstehen und zu generieren.