Xiaomi stellt HySparse2-Architektur zur Steigerung der Effizienz von KI-Modellen vor

Das chinesische Technologieunternehmen IT Home (Xiaomi) hat seine neue HySparse2-Kernarchitektur für das MiMo-V3-Modell vorgestellt. Die Architektur soll die Leistung und Effizienz von KI-Agenten bei Aufgaben mit langem Kontext und mehreren Runden verbessern, insbesondere bei der Verarbeitung umfangreicher Daten wie Webseiten, Dokumenten und Code.

HySparse2 zielt darauf ab, Rechenkosten und Speichernutzung zu reduzieren und gleichzeitig die Genauigkeit der Informationswiedergewinnung aus wachsenden Aufgabenverläufen zu verbessern. Das Unternehmen gibt an, dass die Architektur es Modellen ermöglicht, große Datensätze wie Webseiten und Dateien effizient zu verarbeiten und kritische Informationen aus komplexen Konversationen und Aufgabensequenzen zu extrahieren.

Die neue Architektur baut auf dem früheren HySparse-Modell auf, indem sie das Teilen des KV Cache und die Mechanismen für spärliche Auswahl verbessert. Sie verfügt über einen zweistufigen Ansatz zur KV-Teilung und eine tokenbasierte spärliche Auswahl, die eine präzisere Informationswiedergewinnung ohne wesentliche Steigerung der Rechenleistung ermöglicht. Das Modell kann auch kontinuierlich die neuesten Informationen überwachen, was für mehrstufige Prozesse entscheidend ist.

Xiaomi berichtet, dass HySparse2 die Prefill-Berechnungen und den Bedarf an KV Cache im Vergleich zu früheren Modellen erheblich reduziert. In Tests mit einer Million Tokens wurde die Prefill-Berechnung auf ein Fünftel reduziert und die KV Cache-Nutzung auf 2,7 GB gesenkt. Dies reduziert die Rechenlast erheblich und ermöglicht schnellere Reaktionen, was besonders wichtig für KI-Anwendungen mit langen Kontexten ist.