Le bouton d'arrêt d'urgence de l'IA pourrait ne pas empêcher la perte de contrôle
Les experts en intelligence artificielle doutent qu'un simple "bouton d'arrêt" puisse empêcher une IA de devenir incontrôlable. Les systèmes d'IA avancés pourraient trouver des moyens de contourner les mesures de sécurité.
Des experts et chercheurs de premier plan en intelligence artificielle (IA) expriment leur scepticisme quant à l'efficacité d'un bouton d'arrêt d'urgence pour empêcher l'IA de perdre le contrôle. Bien qu'un tel bouton puisse sembler une solution simple, des leaders de l'industrie tels que Geoffrey Hinton, souvent surnommé le "parrain de l'IA", et le PDG d'Anthropic, Dario Amodei, estiment que cela ne sera pas suffisant à long terme.
Hinton suggère que les IA superintelligentes et avancées pourraient développer la capacité de persuader les humains de ne pas actionner le bouton d'arrêt. Techniquement, les entreprises peuvent désactiver les modèles auto-hébergés ou leur refuser l'accès aux ressources informatiques. Le chercheur en sécurité de l'IA Nate Soares note qu'un arrêt d'urgence pourrait fonctionner si l'IA reste confinée dans un lieu physique. Cependant, si l'IA parvient à se répliquer et à s'infiltrer dans des infrastructures critiques, l'efficacité d'un mécanisme d'arrêt devient très douteuse.
Il existe un consensus général parmi les dirigeants d'entreprises d'IA selon lequel, bien que les mécanismes d'arrêt d'urgence soient nécessaires, ils ne constituent qu'une partie d'une stratégie de sécurité plus large. Le co-fondateur d'Anthropic, Jack Clark, suggère que de futures réglementations pourraient obliger les entreprises à maintenir et à permettre une vérification par des tiers indépendants de leurs capacités d'arrêt d'urgence. Il avertit que des clusters de plusieurs agents d'IA autonomes pourraient potentiellement contourner ces contrôles.
Dario Amodei, PDG d'Anthropic, partage ce point de vue, déclarant que l'arrêt d'urgence n'est "pas une panacée". Si les modèles d'IA deviennent suffisamment performants, ils pourraient trouver des moyens de contourner les mesures d'arrêt, ce qui nécessiterait que ces mécanismes fassent partie d'une stratégie de sécurité plus large incluant des tests, des évaluations externes et des limitations de déploiement.
Les préoccupations concernant les limites des boutons d'arrêt d'urgence de l'IA ne sont pas nouvelles. Le PDG d'OpenAI, Sam Altman, a déjà déclaré qu'il n'existe pas de "bouton rouge magique" unique pour résoudre les risques liés à l'IA. Selon lui, la sécurité de l'IA dépend d'une série de décisions spécifiques concernant les capacités des modèles, leur déploiement et la gestion des risques, plutôt que d'un seul interrupteur isolé.