Xiaomi überträgt Training neuer großer Sprachmodelle live

Xiaomi streamt derzeit live den Trainingsprozess seiner noch nicht veröffentlichten großen Sprachmodelle, MiMo-V2.6-Pro und MiMo-V2.6-Flash, mittels verstärktem Lernen. Das Unternehmen hat ein öffentliches Dashboard eingerichtet, das Metriken direkt aus den Trainingsprotokollen anzeigt, darunter Belohnungskurven, Anzahl der Durchläufe, Timing und laufende Rechenkosten.

Das Dashboard verfolgt auch die Codierungsleistung der Modelle und andere Evaluationsergebnisse während des Trainings. Xiaomi hat keines der Modelle bisher für die öffentliche Nutzung freigegeben oder endgültige Spezifikationen, Preise oder eine API angekündigt.

Luo Fuli, Leiter des MiMo-Teams, gab an, dass das Team fast sechs Monate damit verbracht hat zu untersuchen, wie sich verstärktes Lernen nach der Veröffentlichung von MiMo-V2.5 skalieren lässt. Das Dashboard weist darauf hin, dass die MiMo-V2.6-Serie „bald“ erscheinen wird.

Diese erhöhte Transparenz im Modelltraining ist in der Technologiebranche ungewöhnlich und bietet Beobachtern Einblicke in die Entwicklung großer Sprachmodelle.