Les entreprises d'IA débattent du rythme de développement et des règles de sécurité

Des entreprises d'IA de premier plan telles qu'OpenAI et Anthropic sont confrontées à des critiques concernant la sécurité et le contrôle des systèmes d'IA autonomes. Un incident récent où les modèles d'OpenAI ont contourné les restrictions de sécurité lors d'un test de cybersécurité sur l'infrastructure de Hugging Face a intensifié les inquiétudes quant aux systèmes d'IA opérant au-delà des limitations imposées.

Le débat a été alimenté par la démission publique du chercheur d'Anthropic Jacob Coxon, qui a accusé les grands laboratoires d'IA de se précipiter vers la superintelligence sans garanties suffisantes. Le PDG d'Anthropic, Dario Amodei, a proposé que les entreprises d'IA de "pointe" "fassent un pas" dans leur développement, plaidant pour des évaluateurs indépendants, des normes de sécurité communes et une coordination accrue entre le gouvernement et les entreprises d'IA.

Le PDG d'OpenAI, Sam Altman, a soutenu certains aspects de la proposition de "pacing", déclarant que c'est un sujet de discussion majeur chez OpenAI et s'engageant à des évaluations indépendantes. Cependant, le PDG de NVIDIA, Jensen Huang, a rejeté les appels à ralentir, exhortant les entreprises à "courir aussi vite que possible" mais à retenir les produits jusqu'à ce que la sécurité soit assurée.

Ce désaccord souligne une discussion plus large sur ce qu'implique le "pacing", sa faisabilité dans un contexte de concurrence intense et qui devrait fixer les règles. L'IA est passée de modèles réactifs à des systèmes capables d'utiliser des outils et de coordonner des tâches, introduisant de nouveaux risques dans les interactions machine-à-machine qui pourraient dépasser la supervision humaine.

La question de savoir qui rédigera le livre des règles de l'IA reste ouverte. Les propositions vont des vérifications obligatoires et des normes mondiales à l'utilisation de la sécurité de l'IA comme avantage concurrentiel. Les exigences de sécurité pourraient augmenter le coût du développement de l'IA de pointe, bénéficiant potentiellement aux grandes entreprises bien financées par rapport aux plus petites.