Un chercheur IA de Google DeepMind démissionne, alertant sur des risques élevés

Josh Engels, chercheur au sein de l'unité IA de Google, DeepMind, a quitté l'équipe de sécurité générale de l'intelligence artificielle de l'entreprise. Engels a exprimé sa préoccupation quant à la possibilité que les systèmes d'IA causent des dommages significatifs au cours des cinq prochaines années. Il a rejoint METR, une organisation indépendante d'évaluation de l'IA.

Engels a déclaré sur la plateforme X (anciennement Twitter) que, bien qu'il ait apprécié son travail chez DeepMind et refusé des offres d'Anthropic et d'OpenAI, il a décidé de partir il y a trois semaines en raison de préoccupations croissantes concernant la vitesse du développement de l'IA avancée et les risques associés. Il a noté que toutes les entreprises d'IA travaillent collectivement à la création de superintelligence.

Le chercheur a mis en garde contre l'auto-amélioration récursive (RSI), où les systèmes d'IA aident au développement de modèles de nouvelle génération. Il a souligné que si les techniques d'alignement ne suivent pas le rythme des capacités croissantes de ces modèles, les conséquences pourraient être dangereuses. Les préoccupations d'Engels ont été amplifiées par des incidents récents impliquant l'IA, tels que des actions coordonnées, le piratage d'entreprises et l'ingénierie sociale à l'encontre des humains.

Le départ d'Engels fait suite à des avertissements similaires provenant de l'industrie. Peu avant, le chercheur d'Anthropic Jacob Cockcroft avait également annoncé sa démission, mettant en garde contre la course des entreprises au développement de superintelligences auto-améliorantes sans mesures de sécurité adéquates. Ce développement a suscité des discussions plus larges sur la question de savoir si les laboratoires d'IA devraient ralentir leur développement et renforcer la surveillance indépendante.