Xiaomi uppdaterar MiMo-V3-arkitektur med HySparse2-teknik
Xiaomi uppdaterar sin MiMo-V3-modell med en ny arkitektur som använder HySparse2-teknik. Den nya designen syftar till att minska kostnaderna för långkontextuell inferens och förbättra datahämtning för agentbaserade arbetsbelastningar.
Xiaomi har meddelat en betydande uppdatering av arkitekturen för sin AI-modell MiMo-V3. Kärnan i denna uppdatering är HySparse2-tekniken, som är utformad för att drastiskt minska kostnaderna för att hantera långa datakontexter och förbättra effektiviteten vid datahämtning i agentbaserade system.
Fuli Luo, ledare för Xiaomi MiMo-projektet, bekräftade uppdateringen. HySparse2 är specifikt utvecklad för att sänka kostnaderna för inferens med långa kontexter. Enligt företaget kan tekniken minska förberäkningsberäkningen med upp till 5,02 gånger och KV-cachen med 4,5 gånger när kontextlängden överstiger en miljon tokens.
Om dessa resultat uppfylls kan uppdateringen få omfattande konsekvenser för utvecklingen av AI-applikationer, vilket möjliggör mer effektiv och kostnadseffektiv analys av långa dokument, konversationshistorik eller andra omfattande datamängder.
Xiaomi rapporterade också förbättringar i modellens prestanda enligt flera mätvärden, inklusive högre MRCRv2- och RULER-v2-poäng. Samtidigt minskade AgentPPL- och LongPPL-resultaten, vilket indikerar en förbättrad förmåga hos modellen att förstå och generera sammanhängande text även med mycket långa indata.