Des experts doutent que les capacités de Kimi K3 découlent uniquement de l'exploitation d'Anthropic Fable

Michael Kratsios, le conseiller scientifique de la Maison Blanche, a accusé l'entreprise chinoise Moonshot de copier le modèle IA Fable d'Anthropic dans le développement de son modèle Kimi K3, en utilisant, selon des rapports, des puces dont l'exportation vers la Chine est restreinte.

"La distillation industrielle secrète à grande échelle visant à voler la technologie propriétaire américaine et à saper la recherche américaine est inacceptable", a déclaré Kratsios sur les réseaux sociaux, sans toutefois détailler les sources de ses allégations. L'administration a exprimé des préoccupations concernant les modèles d'IA chinois à poids ouvert, et les discussions sur d'éventuelles interdictions ont secoué le secteur.

Cependant, les experts du secteur sont sceptiques quant à l'idée que la seule distillation – processus consistant à interroger un grand modèle linguistique (LLM) pour imiter les capacités d'un autre – explique les performances avancées de Kimi K3. Étant donné que le modèle Fable d'Anthropic n'a été rendu public que deux semaines auparavant, beaucoup jugent improbable qu'une quantité suffisante de données ait pu être distillée et qu'un nouveau modèle ait été entraîné dans un laps de temps aussi court.

Des chercheurs tels que Braden Hancock de l'Institut Laude et Nathan Lambert de l'Institut Allen pour l'IA suggèrent que la rapidité du développement de Kimi K3 indique que des méthodes d'entraînement plus sophistiquées ont probablement été employées. Ils émettent l'hypothèse que des techniques telles que l'apprentissage par renforcement ont été utilisées, en plus de toute distillation, pour atteindre des performances compétitives par rapport à d'autres grands modèles linguistiques leaders sur le marché.