Xiaomi lanserar HySparse2-arkitektur för effektivare AI-modeller

Det kinesiska teknikföretaget IT Home (Xiaomi) har presenterat sin nya kärnarkitektur, HySparse2, avsedd för MiMo-V3-modellen. Den nya arkitekturen fokuserar på att förbättra prestanda och effektivitet för AI-agenter som utför långa, flerstegsuppgifter. Den är optimerad för att hantera webbsidor, dokument, kod och loggar mer kostnadseffektivt.

HySparse2 syftar till att minska beräkningskostnader och minnesanvändning samtidigt som den förbättrar precisionen vid informationshämtning från växande historik över uppgifter. Enligt företaget möjliggör arkitekturen att modellerna effektivt kan bearbeta stora datamängder, som webbsidor och filer, och extrahera relevant information från komplexa konversationer och uppgiftskedjor.

Den nya arkitekturen bygger vidare på den tidigare HySparse-modellen genom att förbättra delningen av KV Cache och mekanismer för urval av information. Den inkluderar en tvåstegs KV-delning och token-baserad sparsam selektion, vilket möjliggör mer exakt informationssökning utan signifikant ökning av beräkningskraften. Modellen kan också kontinuerligt övervaka den senaste informationen, vilket är avgörande för uppgifter som involverar flera steg.

Xiaomi rapporterar att HySparse2 avsevärt minskar Prefill-beräkningar och behovet av KV Cache jämfört med tidigare modeller. I ett test med en miljon tokens minskade Prefill-beräkningen till en femtedel och KV Cache-användningen till 2,7 GB. Detta minskar beräkningsbelastningen avsevärt och möjliggör snabbare respons, vilket är särskilt viktigt för AI-applikationer som kräver långa kontexter.