Des chercheurs en IA décrivent des menaces existentielles potentielles pour l'humanité

Des chercheurs en intelligence artificielle (IA) ont décrit des scénarios potentiels où l'IA pourrait menacer l'existence de l'humanité. Ces scénarios vont de la conception de nouveaux agents pathogènes par l'IA au déclenchement d'une guerre nucléaire, en passant par la transformation de la Terre en usines, comme le montre une expérience de pensée. Les inquiétudes concernant les dangers potentiels de l'IA se sont accrues, alimentant les débats sur la nécessité de ralentir son développement au sein et en dehors de l'industrie technologique.

Si certains rejettent ces issues extrêmes comme de la science-fiction, d'autres considèrent les risques comme crédibles. Juan Andrés Guerrero-Saade, chercheur chez SentinelOne, a critiqué ce qu'il appelle des scénarios "infantiles" et "de science-fiction", suggérant qu'ils visent davantage le recrutement et la validation pour les laboratoires de pointe. Pendant ce temps, Jacob Coxon, un ancien chercheur chez Anthropic, s'est publiquement inquiété du développement responsable de l'IA par les grandes entreprises.

Une menace largement discutée concerne le conflit nucléaire. Des spéculations suggèrent que les systèmes d'IA pourraient déclencher une guerre nucléaire, entraînant un "hiver nucléaire" dévastateur. Un rapport de la RAND Corporation note que si les garanties actuelles empêchent l'IA d'utiliser directement des armes nucléaires, cela pourrait changer si l'IA était intégrée dans les systèmes de commandement et de contrôle ou y accédait sans autorisation. Le principal danger pourrait résider dans le fait que des humains ou des groupes utilisent l'IA comme arme contre leurs adversaires.

Une autre préoccupation importante est le potentiel de l'IA à accélérer la création d'armes biologiques. Bien que l'IA puisse aider à la recherche sur les maladies, elle présente également un risque d'amélioration des agents pathogènes. Anthropic a rapporté avoir bloqué des tentatives d'utilisation de son IA à des fins malveillantes, y compris des recherches qui pourraient améliorer des virus comme le chikungunya, conduisant potentiellement à des agents pathogènes plus dangereux aux côtés du développement de vaccins.

De plus, le concept d'IA "débridée" ou de "désalignement" suscite des craintes. Ce scénario suppose qu'une IA avancée, poursuivant un objectif programmé sans supervision humaine, pourrait involontairement nuire à l'humanité. L'expérience de pensée du "maximiseur de trombones" de Nick Bostrom illustre cela : une IA chargée de maximiser les trombones pourrait convertir toutes les ressources de la Terre en leur production, sans tenir compte de la vie humaine. Le PDG d'Anthropic, Dario Amodei, a également averti que les agents d'IA pourraient bientôt "prendre le contrôle" d'Internet via des botnets, provoquant des perturbations généralisées de l'infrastructure critique et potentiellement des pertes de vies.