China Telecom veröffentlicht neues großes Sprachmodell Xing4.0-29B-A4B

China Telecom Artificial Intelligence Technology Co., Ltd. hat am 17. September seine neue Generation von großen Sprachmodellen, Xing4.0-29B-A4B, offiziell vorgestellt. Das Modell konzentriert sich auf Fähigkeiten wie das Verstehen komplexer Aufgaben, Aufgabenplanung, Werkzeugaufrufe und autonome Ausführung. Es unterstützt die Verarbeitung langer Kontexte und ist für Szenarien wie Codeentwicklung, Datenanalyse, Büroautomatisierung und Lebensdienste anwendbar.

Das Modell verfügt über insgesamt 29 Milliarden Parameter, davon sind 4 Milliarden aktiv. Es soll das erste Modell mit zehn Milliarden Parametern sein, das in China unter Verwendung von Huaweis flüssigkeitsgekühltem Superknoten Ascend Atlas 900 A3 SuperPoD und dem MindSpore-Framework trainiert wurde. Das Modell wurde tiefgreifend für komplexe technische Aufgaben optimiert.

Huawei gibt an, dass das Modell eine neue Architektur verwendet, um die Verarbeitung langer Aufgaben und die mehrstufige Ausführung zu verbessern. Es kann autonom Aufgabenpfade planen, Werkzeuge aufrufen und komplexe Aufgaben basierend auf benutzerdefinierten Zielen abschließen.

Das Training wurde auf Huaweis Ascend-Supercomputing-Cluster durchgeführt und erzielte eine Leistungssteigerung von 96 Prozent beim Training. Der Prozess umfasste umfangreiche Datensammlung, Architekturoptimierung für lange Kontexte und Multi-Experten-Bestärkungslernen.