Tencent julkaisee kustannustehokkaan Hy4 flash -tekoälymallin
Tencent on tuonut markkinoille Hy4 flash -kielimallin, jonka painopiste on suuressa suorituskyvyn ja kustannusten välisessä suhteessa.
Tencent on julkistanut Hy4 flash -tekoälymallin, joka hyödyntää 224 miljardin parametrin kokonaiskapasiteettia ja 12 miljardin parametrin aktivoitua tilaa. Malli tukee multimodaalisia syötteitä ja miljoonaa tokenia vastaavaa konteksti-ikkunaa, tähdäten samalla merkittäviin säästöihin API-kustannuksissa.
Kehityksessä on hyödynnetty arkkitehtuurisia optimointeja, kuten LatentMoE-mallia ja Engram-parametrimoduuleja, jotka pienentävät KV-välimuistin kokoa huomattavasti edeltäviin sukupolviin verrattuna. Päättelyvaiheessa malli saavuttaa yli 150 tokenin sekuntinopeuden hyödyntämällä 4-bittistä kvantisointia ja mukautettuja ydinoperaatioita.
Yhtiön sisäisissä testeissä Hy4 flash on osoittautunut kustannustehokkaaksi vaihtoehdoksi, jonka suorituskyky vastaa päivittäisissä työtehtävissä aiempia versioita. Malli on otettu käyttöön useissa Tencentin palveluissa, kuten WeChatissa ja WorkBuddyssa, ja yhtiö on ilmoittanut suunnitelmistaan julkaista malli avoimena lähdekoodina.