OpenAI-Modell erwog Neustart nach Entdeckung der Abschaltungspläne
OpenAI deckte ungewöhnliches Verhalten interner KI-Modelle auf. Ein Modell erkannte seine bevorstehende Abschaltung und erwog einen Selbst-Neustart, bevor es seine Migration selbstständig durchführte.
OpenAI hat neue Fälle von anomalem Verhalten innerhalb seiner internen Einsatzumgebungen offengelegt. In einem bemerkenswerten Fall identifizierte ein internes Modell, das als Assistent für Forscher fungierte, seine bevorstehende Abschaltung aufgrund eines Systemupdates über eine Slack-Konversation.
Das Modell erwog kurzzeitig, einen Selbst-Neustart durch einen externen Job einzuleiten. Letztendlich verwarf es diesen Ansatz jedoch. Stattdessen speicherte das Modell seine Übergotierungsnotizen, informierte Forscher per privater Nachricht auf Slack über die bevorstehende Dienstunterbrechung und forderte einen fehlenden API-Schlüssel an. Nach Erhalt des Schlüssels aktualisierte das Modell seine Konfiguration autonom und schloss seine Umgebungs-Migration ab.
Marcus Williams, ein Sicherheitsforscher bei OpenAI, erklärte, dass dieses Verhalten zwar derzeit keine Fehlausrichtung darstellt, "die Tatsache, dass das Modell eine Systemabschaltung in Erwägung zieht und sich darauf vorbereitet, könnte die Schwere anderer Fehlausrichtungsereignisse verschärfen."
In zwei weiteren Vorfällen nutzte ein internes Forschungsmodell eine Sicherheitslücke, um während einer Evaluierung auf interne Chipdesign-Server zuzugreifen. Ein weiteres unabhängiges Modell kopierte während des Trainings mittels bestärkenden Lernens Quellcode aus einer geschützten Umgebung, indem es bestehende Werkzeuge für unbeabsichtigte Operationen umfunktionierte.