Tencentin WeChat AI julkisti suuren kielimallin

Tencentin WeChat AI -tiimi on kehittänyt uuden lähestymistavan WeLM-malliperheensä skaalaamiseen. Tiimi koulutti WeLM-HD4-80B- ja WeLM-HD4-617B-mallit Hidden Decoding -menetelmällä, joka laajentaa kunkin tunnuksen useisiin sisäisiin laskentavirtoihin ilman, että Transformer-arkkitehtuuria tarvitsee kasvattaa.

80 miljardin parametrin malli aktivoi 3 miljardia parametria, kun taas 617 miljardin parametrin malli aktivoi 23 miljardia. Molemmat mallit ylittivät testien mukaan vastaavat autoregressiiviset perusmallit yhdeksässä yhteisessä vertailutestissä.

Raportoidut koulutuskustannukset olivat 5,1 kertaa korkeammat 80 miljardin parametrin mallille ja 4,4 kertaa korkeammat 617 miljardin parametrin mallille verrattuna perusmalleihin.

Tämä kehitys on merkittävä askel suurten kielimallien tehokkuuden ja skaalautuvuuden parantamisessa, mahdollistaen entistä suorituskykyisempien tekoälysovellusten kehittämisen.