Moonshot AI publie le modèle Kimi K3 en open source

La société chinoise d'intelligence artificielle Moonshot AI a officiellement publié son modèle Kimi K3 en open source. L'entreprise a rendu publiques les poids du modèle, un rapport technique et les technologies d'infrastructure clés utilisées pour son entraînement.

Le modèle Kimi K3 dispose de 2,8 billions de paramètres et est construit sur le mécanisme Kimi Delta Attention (KDA). Il prend en charge nativement la compréhension visuelle et offre une fenêtre de contexte substantielle d'un million de tokens, lui permettant de traiter de vastes quantités d'informations.

Moonshot AI indique que Kimi K3 est le premier modèle open source à atteindre une échelle de 2,8 billions de paramètres. L'entreprise note que les modèles Kimi ont constamment représenté la limite supérieure en termes de taille pour les modèles open source au cours des douze derniers mois.

Techniquement, Kimi K3 utilise une architecture Mixture of Experts (MoE) associée au framework Stable LatentMoE, permettant une activation efficace parmi 896 experts. Des méthodes d'entraînement et des recettes de données optimisées contribuent à une efficacité améliorée. Moonshot AI rapporte que ces améliorations structurelles rendent Kimi K3 environ 2,5 fois plus efficace que son prédécesseur, K2, en termes de mise à l'échelle.

Ce modèle démontre de fortes capacités en encodage longue portée, capable de gérer des tâches d'ingénierie étendues et de comprendre de grandes bases de code avec une supervision humaine minimale. Il excelle également dans les tâches intégrant le développement logiciel et le raisonnement visuel, utilisant des captures d'écran et des retours visuels pour optimiser des domaines tels que le développement de jeux et les applications CAD. Tout en reconnaissant qu'il accuse un retard sur les meilleurs modèles propriétaires comme Claude Fable 5 et GPT-5.6 Sol, Moonshot AI affirme que Kimi K3 offre des performances de pointe qui surpassent les autres modèles open source dans les évaluations.