Ant Group publie son modèle d'IA Ling-3.1-flash en open source

Ant Group a mis à disposition les poids de son modèle d'IA Ling-3.1-flash, permettant aux développeurs de le déployer sur leur propre infrastructure. Le modèle compte environ 560 milliards de paramètres au total, dont environ 25 milliards sont activés par token, et prend en charge une fenêtre de contexte étendue d'un million de tokens.

Cette publication fait suite à l'introduction antérieure du modèle et inclut un support de déploiement via des frameworks d'inférence courants tels que SGLang et vLLM. Il est destiné aux tâches de codage, aux flux de travail d'agents et aux applications professionnelles nécessitant le traitement de longs documents et l'interaction avec des outils externes.

L'équipe d'Ant Group a également développé une approche de déploiement à précision mixte qui réduit considérablement les besoins en mémoire pour les poids du modèle, passant d'environ 534 Go à 292 Go. Dans une configuration GPU Hopper rapportée, cette modification a réduit le nombre de GPU requis de huit à quatre.