Experten bezweifeln, dass Kimi K3-Fähigkeiten rein aus Anthropic Fable stammen
Experten zweifeln an Behauptungen, dass die Fortschritte des chinesischen Modells Kimi K3 von Moonshot ausschließlich durch die Destillation von Anthropic Fable entstanden sind. Die schnelle zweimonatige Entwicklung des Modells weckt Skepsis.
Michael Kratsios, wissenschaftspolitischer Berater des Weißen Hauses, hat dem chinesischen Unternehmen Moonshot vorgeworfen, Anthropic's Fable KI-Modell kopiert zu haben, während es sein eigenes Kimi K3-Modell entwickelte. Berichten zufolge wurden dabei Chips verwendet, deren Export nach China eingeschränkt ist.
"Groß angelegte, verdeckte industrielle Destillation mit dem Ziel, proprietäre US-Technologie zu stehlen und die amerikanische Forschung zu untergraben, ist inakzeptabel", erklärte Kratsios in den sozialen Medien, ohne jedoch die Quellen seiner Anschuldigungen näher zu erläutern. Die Regierung hat Bedenken hinsichtlich chinesischer Open-Weight-KI-Modelle geäußert, und Diskussionen über mögliche Verbote haben die Branche aufgewühlt.
Branchenexperten sind jedoch skeptisch, ob allein die Destillation – ein Prozess, bei dem versucht wird, die Fähigkeiten eines KI-Modells durch Abfrage nachzuahmen – die fortschrittliche Leistung von Kimi K3 erklärt. Da das Fable-Modell von Anthropic erst vor zwei Wochen öffentlich zugänglich gemacht wurde, halten viele es für unwahrscheinlich, dass in einem so kurzen Zeitraum ausreichend Daten destilliert und ein neues Modell trainiert werden konnten.
Forscher wie Braden Hancock vom Laude Institute und Nathan Lambert vom Allen Institute for AI deuten an, dass die Geschwindigkeit der Entwicklung von Kimi K3 auf den Einsatz ausgefeilterer Trainingsmethoden hindeutet. Sie vermuten, dass neben jeder Destillation auch Techniken wie Reinforcement Learning eingesetzt wurden, um eine wettbewerbsfähige Leistung im Vergleich zu anderen führenden großen Sprachmodellen zu erzielen.