China Telecom lanserar ny stor språkmodell Xing4.0-29B-A4B

China Telecom Artificial Intelligence Technology Co., Ltd. lanserade den 17 september sin nya generationens stora språkmodell, Xing4.0-29B-A4B. Modellen fokuserar på komplex uppgiftsförståelse, uppgiftsplanering, verktygsanvändning och autonom exekvering. Den stöder långa kontexter och är tillämplig för kodutveckling, dataanalys, kontorsautomation och livstjänster.

Modellen har totalt 29 miljarder parametrar, varav endast 4 miljarder är aktiva. Den är den första modellen med tiotals miljarder parametrar som tränats i Kina med hjälp av Huaweis vätskkylda supernod Ascend Atlas 900 A3 SuperPoD och MindSpore-ramverket. Modellen är djupt optimerad för komplexa tekniska uppgifter.

Enligt Huawei använder modellen en ny arkitektur som förbättrar hanteringen av långa uppgifter och flerstegsexekvering. Den kan självständigt planera uppgiftsvägar, använda verktyg och utföra komplexa uppgifter baserat på användarens mål.

Modellen tränades på Huaweis Ascend-superkluster, vilket förbättrade träningsprestandan med 96 procent. Träningsprocessen involverade storskalig datainsamling, arkitekturoptimering för långa kontexter och multi-expert förstärkningsinlärning.