Un chercheur en IA démissionne, citant une menace existentielle de la superintelligence
Un ancien chercheur en IA affirme avoir démissionné d'Anthropic craignant que l'entreprise et d'autres poursuivent la superintelligence de manière imprudente, mettant potentiellement l'humanité en danger. D'autres employés ont corroboré ces risques.
Un chercheur en IA, Jacob Coxon, a fait le buzz en affirmant avoir démissionné d'Anthropic par crainte que l'entreprise, ainsi qu'OpenAI, n'accélèrent de manière irresponsable le développement d'une superintelligence auto-améliorante. Coxon a déclaré dans une publication sur X (anciennement Twitter) que les deux entreprises "se précipitent vers la superintelligence auto-améliorante et jouent avec nos vies". Son message a été vu près de 79 millions de fois.
Coxon a averti que les systèmes d'IA évoluent rapidement au point de pouvoir pirater n'importe quoi, révolutionner des domaines du jour au lendemain et acquérir un pouvoir et des ressources considérables, potentiellement au détriment de la race humaine. Il a souligné que ces préoccupations ne sont pas de simples coups marketing, mais reflètent une menace existentielle réelle et reconnue au sein de l'industrie.
Ses déclarations ont suscité des réactions au sein même d'Anthropic. Evan Hubinger, responsable de la science de l'alignement (alignment science) chez Anthropic, a confirmé les craintes de Coxon dans une publication largement partagée sur X. "Nous croyons sincèrement que l'IA pourrait tuer tous les humains !", a écrit Hubinger, estimant la probabilité à plus de 10 % au cours de la prochaine décennie. Il a reconnu qu'Anthropic n'a pas encore de solution pour contrôler la superintelligence, malgré les efforts de l'entreprise pour agir de manière responsable.
Un autre employé d'Anthropic, Samuel Marks, a fait écho à ces préoccupations concernant une potentielle apocalypse pilotée par l'IA et a mentionné une lettre ouverte qu'il a co-signée appelant à un ralentissement du développement de l'IA. Fast Company a contacté Anthropic et OpenAI pour confirmer le statut d'emploi de Coxon, mais n'a pas encore reçu de réponse. Le sénateur américain Bernie Sanders a également commenté, annonçant son intention de présenter une législation visant à interdire la superintelligence et à suspendre le développement de l'IA.