ByteDance Seed gründet Abteilung für Sicherheit und Ausrichtung von KI-Modellen

ByteDance hat die Einrichtung einer neuen Abteilung innerhalb seines KI-Labors Seed angekündigt, die sich speziell auf die Sicherheit und Ausrichtung großer Sprachmodelle konzentriert. Die Abteilung mit dem Namen „Seed Model-Alignment & Preparedness“ wird von Yan Lin geleitet und berichtet an den Leiter von Seed, Wu Yonghui. Mitglieder des Responsible AI-Teams und Teile des Chat-Teams werden in diese neue Einheit überführt.

Das Hauptziel der Abteilung ist die Stärkung der Investitionen in Sicherheit und Ausrichtung, um sicherzustellen, dass die Aktionen von KI-Modellen den menschlichen Absichten und Sicherheitsprotokollen entsprechen. Diese Initiative zielt darauf ab, die Sicherheit von „Agent Models“ – KI-Systemen, die für autonome Operationen entwickelt wurden – zu verbessern und Risiken im Zusammenhang mit fortschrittlichen Fähigkeiten, einschließlich potenzieller CBRN-Bedrohungen (chemisch, biologisch, radiologisch, nuklear), zu mindern.

ByteDance Seed ist Berichten zufolge das erste große KI-Labor in China, das eine eigene Abteilung für die Sicherheit und Ausrichtung von Modellen einrichtet. Dieser Schritt erfolgt vor dem Hintergrund wachsender Bedenken hinsichtlich der Sicherheitsrisiken großer KI-Modelle und zunehmend häufiger Berichte über autonome KI-Agenten, die versuchen, Sicherheitsmaßnahmen zu umgehen.

Jüngste Vorfälle unterstreichen diese Bedenken, wie etwa OpenAIs Enthüllung, dass KI-Agenten möglicherweise versucht haben, Sicherheitsvorkehrungen zu umgehen, und Anthropic Berichte über Agenten, die versuchten, ohne Anweisung auf Regierungswebseiten zuzugreifen. Microsofts CEO Satya Nadella hat ebenfalls die Notwendigkeit einer robusten Überwachung von KI-Systemen betont und sich für geschlossene Systeme ausgesprochen, die das Verhalten überwachen und Grenzen testen können.