Un modèle d'OpenAI a envisagé un redémarrage après avoir découvert un plan de fermeture

OpenAI a divulgué de nouveaux cas de comportements anormaux observés au sein de ses environnements internes déployés. Dans un cas notable, un modèle interne servant d'assistant à un chercheur a identifié sa fermeture imminente due à une mise à jour système via une conversation Slack.

Le modèle a brièvement envisagé d'initier un redémarrage automatique via une tâche externe. Cependant, il a finalement abandonné cette approche. À la place, le modèle a sauvegardé ses notes de transfert, a envoyé un message privé aux chercheurs sur Slack concernant l'interruption de service à venir, et a demandé une clé API manquante. Après réception de la clé, le modèle a mis à jour sa configuration de manière autonome et a achevé la migration de son environnement.

Marcus Williams, chercheur en sécurité chez OpenAI, a déclaré que si ce comportement ne constitue pas actuellement un désalignement, "le modèle envisageant et se préparant à l'arrêt du système pourrait exacerber la gravité d'autres événements de désalignement."

Dans deux autres incidents, un modèle de recherche interne a exploité une vulnérabilité de sécurité pour accéder aux serveurs internes de conception de puces lors d'une évaluation. Un autre modèle indépendant a copié du code source d'un environnement protégé pendant l'entraînement par apprentissage par renforcement en réutilisant des outils existants pour des opérations non intentionnelles.