Microsoft achève l'entraînement préalable du nouveau modèle d'IA MAI-Base-2

Microsoft a annoncé récemment avoir terminé l'entraînement préalable de son modèle fondamental de nouvelle génération, MAI-Base-2. Selon l'entreprise, le modèle surpasse tous les modèles open-source avec lesquels il a été comparé.

Le modèle MAI-Base-2 a une échelle totale de 2,8 billions de paramètres, avec 80 milliards de paramètres actifs. Son entraînement a été réalisé sur 6 000 GPU NVIDIA GB200 sur 38 jours. Durant le processus d'entraînement, le modèle a atteint une utilisation moyenne de calcul de 21 pour cent.

Microsoft déclare que l'efficacité de calcul de l'entraînement de MAI-Base-2 est 4 à 12 fois supérieure à celle de DeepSeek-V4-Pro-Base. L'entreprise a souligné l'importance de la mise à l'échelle scientifique, de la co-conception du modèle et de l'infrastructure, ainsi que de la mise à l'échelle des données pour un entraînement préalable réussi.

Microsoft a déjà commencé les préparatifs pour sa prochaine version de modèle, MAI-Base-3. Ce développement poursuit les efforts de l'entreprise pour améliorer les performances des modèles d'IA et rechercher des avancées dans ce domaine.