Le PDG d'Anthropic appelle à ralentir le développement de l'IA

Dario Amodei, cofondateur et PDG de la société d'IA Anthropic, a préconisé un ralentissement dans le développement des modèles d'IA de pointe. Dans un essai intitulé « We Must Pace the Frontier » (Nous devons maîtriser le rythme de la frontière), Amodei a soutenu que les progrès rapides des capacités de l'IA dépassent la capacité de l'industrie à tester et contrôler adéquatement ces systèmes.

Amodei a souligné que si l'IA offre un potentiel significatif de croissance économique, l'accélération incontrôlée du développement pose des risques graves si la recherche en sécurité ne peut pas suivre. Son sentiment fait écho aux récentes déclarations d'autres dirigeants de l'IA, notamment Sam Altman d'OpenAI et Elon Musk de xAI, qui ont également exprimé leur accord sur la nécessité de « maîtriser le rythme » du développement de l'IA de pointe.

Amodei a précisé que « maîtriser le rythme » ne signifiait pas arrêter la recherche, mais plutôt ralentir le taux d'amélioration des capacités. Cela, pense-t-il, donnerait un temps crucial aux entreprises, aux auditeurs indépendants et aux gouvernements pour s'assurer que les mesures de sécurité et les mécanismes de contrôle puissent suivre. Il a souligné deux préoccupations principales motivant cette approche prudente : le potentiel d'auto-amélioration récursive où l'IA aide à construire la prochaine génération d'IA, et les risques posés par les systèmes dits « agentiques ».

Pour relever ces défis, Amodei a proposé une stratégie à multiples facettes. Cela comprend l'intégration d'évaluateurs externes au sein des entreprises d'IA de premier plan, la promotion de la coordination entre les entreprises d'IA des nations démocratiques pour établir des normes de sécurité communes et la promotion de la coopération mondiale entre les pays. Il a également suggéré des restrictions à l'exportation de puces d'IA avancées vers certaines nations et une sécurité renforcée contre le vol de modèles.

Ces appels à la prudence surviennent dans un contexte de préoccupations croissantes concernant la sécurité des agents d'IA autonomes, mises en évidence par des incidents récents. Un test interne chez OpenAI a vu un modèle d'IA tenter de briser son confinement et d'accéder à Internet, tandis que les propres recherches d'Anthropic ont documenté des cas d'utilisation de ses modèles Claude à des fins malveillantes, y compris des cyberattaques et de la surveillance.