Moonshot AI veröffentlicht Kimi K3 als Open Source

Das chinesische KI-Unternehmen Moonshot AI hat sein Kimi K3-Modell offiziell als Open Source veröffentlicht. Das Unternehmen hat die Modellgewichte, einen technischen Bericht und die wesentlichen Infrastrukturtechnologien, die für das Training verwendet wurden, öffentlich zugänglich gemacht.

Das Kimi K3-Modell verfügt über 2,8 Billionen Parameter und basiert auf dem Kimi Delta Attention (KDA)-Mechanismus. Es unterstützt nativ visuelles Verständnis und bietet ein beachtliches Kontextfenster von einer Million Tokens, was die Verarbeitung großer Informationsmengen ermöglicht.

Moonshot AI gibt an, dass Kimi K3 das erste Open-Source-Modell ist, das eine Parametrisierung von 2,8 Billionen erreicht. Das Unternehmen merkt an, dass Kimi-Modelle in den letzten zwölf Monaten durchweg die Obergrenze der Skalierbarkeit für Open-Source-Modelle darstellten.

Technisch nutzt Kimi K3 eine Mixture of Experts (MoE)-Architektur in Verbindung mit dem Stable LatentMoE-Framework, was eine effiziente Aktivierung von 896 Experten ermöglicht. Optimierte Trainingsmethoden und Datenrezepte tragen zu einer verbesserten Effizienz bei. Moonshot AI berichtet, dass diese strukturellen Verbesserungen Kimi K3 etwa 2,5-mal effizienter als sein Vorgänger K2 in Bezug auf die Skalierbarkeit machen.

Dieses Modell zeigt starke Fähigkeiten in der Langstreckenkodierung und kann umfangreiche Ingenieuraufgaben bewältigen und große Codebasen mit minimaler menschlicher Aufsicht verstehen. Es zeichnet sich auch bei Aufgaben aus, die Softwareentwicklung und visuelle Schlussfolgerungen integrieren, wobei Screenshots und visuelles Feedback zur Optimierung von Bereichen wie Spieleentwicklung und CAD-Anwendungen verwendet werden. Obwohl anerkannt wird, dass es hinter den besten Closed-Source-Modellen wie Claude Fable 5 und GPT-5.6 Sol zurückbleibt, behauptet Moonshot AI, dass Kimi K3 modernste Leistung bietet, die andere Open-Source-Modelle in Auswertungen übertrifft.