Xiaomi julkisti HySparse2-arkkitehtuurin tehostamaan tekoälymalleja

Kiinalainen teknologiayritys IT Home (Xiaomi) on esitellyt uuden HySparse2-ydinarkkitehtuurinsa MiMo-V3-tekoälymallilleen. Uusi arkkitehtuuri keskittyy parantamaan pitkien, monivaiheisten Agent-tehtävien suorituskykyä ja tehokkuutta, erityisesti pitkien tekstien, tiedostojen ja koodien käsittelyssä.

HySparse2 pyrkii vähentämään laskentakustannuksia ja muistin käyttöä samalla kun se tarkentaa tiedonhakua kasvavista tehtävähistorioista. Yrityksen mukaan arkkitehtuuri mahdollistaa mallien käsitellä tehokkaammin suuria tietomääriä, kuten verkkosivuja ja tiedostoja, ja poimia olennaista tietoa monimutkaisista keskusteluista ja tehtäväketjuista.

Uusi arkkitehtuuri rakentuu aiemman HySparse-mallin päälle, parantaen KV Cache -muistin jakamista ja tiedon valintamekanismeja. Se sisältää kaksitasoisen KV-jakamisen ja token-tason harvan valinnan, joka mahdollistaa tarkemman tiedonhaun ilman merkittävää laskentatehon lisäystä. Malli pystyy myös jatkuvasti tarkastelemaan viimeisimpiä tietoja, mikä on kriittistä monivaiheisissa tehtävissä.

Xiaomi raportoi, että HySparse2 vähentää merkittävästi Prefill-laskentaa ja KV Cache -muistin tarvetta verrattuna aiempiin malleihin. Miljoonan tokenin testissä Prefill-laskenta väheni viidesosaan ja KV Cache -muistin käyttö 2,7 gigatavuun, mikä vähentää merkittävästi laskentakuormaa ja mahdollistaa nopeamman reagoinnin. Tämä on erityisen tärkeää pitkiä konteksteja vaativissa tekoälysovelluksissa.