Kiinan Teleautomaatio julkaisi uuden suuren kielimallin Xing4.0-29B-A4B

Kiinan Teleautomaatio (China Telecom Artificial Intelligence Technology Co., Ltd.) julkaisi 17. syyskuuta uuden sukupolven suuren kielimallin, Xing4.0-29B-A4B. Malli keskittyy monimutkaisten tehtävien ymmärtämiseen, tehtävien suunnitteluun, työkalujen käyttöön ja autonomiseen suorittamiseen. Se tukee pitkiä konteksteja ja soveltuu koodikehitykseen, data-analyysiin, toimistoautomaatioon ja elämän palveluihin.

Malli on 29 miljardin parametrin kokonaisuus, josta aktiivisia on vain 4 miljardia. Se on ensimmäinen Kiinassa koulutettu kymmenien miljardien parametrien malli, joka on hyödyntänyt Huawein Ascend Atlas 900 A3 SuperPoD -nestekylpyistä supersolmua ja MindSpore-kehystä. Malli on syväoptimoi monimutkaisiin teknisiin tehtäviin.

Huawein mukaan malli käyttää uutta arkkitehtuuria, joka parantaa pitkien tehtävien käsittelyä ja monivaiheista suorittamista. Se pystyy suunnittelemaan tehtäväpolkuja, käyttämään työkaluja ja suorittamaan monimutkaisia tehtäviä käyttäjän tavoitteiden perusteella.

Malli koulutettiin Huawein Ascend-superklusterissa, mikä paransi koulutuksen suorituskykyä 96 prosenttia. Koulutusprosessi sisälsi laajamittaisen datan keräämisen, arkkitehtuurin optimoinnin pitkille konteksteille ja moniasiantuntijavahvistusoppimisen.