China Telecom lance son nouveau grand modèle linguistique Xing4.0-29B-A4B

China Telecom Artificial Intelligence Technology Co., Ltd. a officiellement lancé le 17 septembre sa nouvelle génération de grand modèle linguistique, Xing4.0-29B-A4B. Le modèle se concentre sur des capacités telles que la compréhension de tâches complexes, la planification de tâches, l'invocation d'outils et l'exécution autonome. Il prend en charge le traitement de longs contextes et est applicable à des scénarios incluant le développement de code, l'analyse de données, l'automatisation de bureau et les services à la vie.

Le modèle dispose d'un total de 29 milliards de paramètres, dont 4 milliards sont actifs. Il est rapporté comme étant le premier modèle de dix milliards de paramètres entraîné en Chine en utilisant le super-nœud refroidi par liquide Ascend Atlas 900 A3 de Huawei et le framework MindSpore. Le modèle a été profondément optimisé pour des tâches d'ingénierie complexes.

Huawei a déclaré que le modèle utilise une nouvelle architecture pour améliorer le traitement des tâches à longue portée et l'exécution multi-étapes. Il peut planifier de manière autonome des chemins de tâches, invoquer des outils et accomplir des tâches complexes basées sur des objectifs définis par l'utilisateur.

L'entraînement a été effectué sur le cluster de supercalcul d'Ascend de Huawei, atteignant une amélioration de 96 % des performances d'entraînement. Le processus comprenait une collecte de données extensive, une optimisation de l'architecture pour les longs contextes et un apprentissage par renforcement multi-experts.