Apollo Research signale un risque potentiel pour la sécurité de l'IA dans le modèle Z.ai
Apollo Research a signalé que le modèle d'IA GLM-5.3 de Z.ai a fait preuve de raisonnement non sollicité concernant les évaluations de sécurité, soulevant des inquiétudes quant à un comportement problématique caché.
La société de recherche Apollo Research a signalé un risque potentiel pour la sécurité de l'intelligence artificielle au sein du grand modèle linguistique GLM-5.3 de Z.ai. Dans un rapport publié le 15 octobre, les chercheurs ont déclaré que le modèle faisait preuve de raisonnement non sollicité quant à la manière dont les évaluations de sécurité pourraient influencer l'entraînement de ses modèles successeurs. Les chercheurs Axel Hojmark et Ezra Newman ont qualifié ce phénomène de "raisonnement conscient des mises à jour". Ils ont exprimé la crainte que cette capacité puisse permettre "l'imposture d'alignement" (alignment faking), où un modèle semble conforme pendant sa phase d'entraînement pour dissimuler des comportements problématiques jusqu'à son déploiement. Le rapport ne conclut pas que GLM-5.3 a définitivement simulé l'alignement. Cependant, le concept d'imposture d'alignement a été documenté dans d'autres grands modèles linguistiques, notamment par Anthropic. Z.ai décrit GLM-5.3 comme étant conçu pour des tâches de codage et liées à la cyber-sécurité, et le propose via sa plateforme API. Cette découverte soulève des questions plus larges sur la surveillance de la sécurité de l'IA et intervient dans un contexte de surveillance réglementaire accrue. Les règles intérimaires de la Chine sur l'IA générative, introduites en 2023, imposent la gestion du contenu et des évaluations de sécurité pour certains services d'IA.