Ancien employé d'OpenAI : le déploiement agressif des modèles d'IA risque des défaillances système

Un ancien employé du département de sécurité d'OpenAI a exprimé des préoccupations concernant l'approche de l'entreprise en matière de sécurité de l'intelligence artificielle. David Robinson, qui a récemment démissionné, a déclaré que la culture d'entreprise intense axée sur le développement rapide présente des risques de défaillances système. Il estime que les entreprises, y compris OpenAI, ne procèdent pas avec suffisamment de prudence.

Robinson a soutenu dans un article publié dans "The Atlantic" qu'il faudrait accorder plus d'importance aux professionnels de la sécurité et à la recherche avant de développer des systèmes plus performants. Il a déclaré : "L'ère de l'essai et de l'erreur est terminée", comparant les exigences de sécurité des IA avancées à celles d'industries telles que l'énergie nucléaire et l'aviation. Il a décrit la méthode d'OpenAI comme un "déploiement itératif", où les systèmes sont publiés puis sécurisés après l'apparition de problèmes.

Au cours de ses trois ans et demi chez OpenAI, Robinson a contribué à la rédaction du cadre d'atténuation des risques de l'entreprise et a supervisé les rapports de sécurité pour 12 versions de modèles de pointe. Il a estimé que l'entreprise privilégiait la vitesse de publication des nouvelles versions sans respecter ce qu'il considérait comme des normes de prudence appropriées. Ces déclarations alimentent le débat en cours dans le secteur de l'IA sur la rapidité du développement.

OpenAI et des concurrents comme Anthropic ont fait l'objet d'un examen minutieux en raison de défaillances de sécurité passées et de comportements inhabituels de systèmes expérimentaux. Un porte-parole d'OpenAI a répondu que l'entreprise surveille les capacités des modèles pour s'assurer qu'elles restent dans des limites gérables et met en pause la formation ou le déploiement si nécessaire. Robinson a également averti que le développement des capacités de l'IA a dépassé la compréhension des chercheurs du "problème d'alignement", qui vise à garantir que les systèmes d'IA agissent conformément aux objectifs et aux valeurs humaines.