Les évaluateurs de la sécurité de l'IA gagnent en visibilité

Un petit groupe d'évaluateurs indépendants occupe désormais une place centrale au sein de l'industrie de l'intelligence artificielle, valorisée à plusieurs billions de dollars. Des organisations telles que METR et Transluce sont de plus en plus sollicitées pour surveiller et évaluer les modèles d'IA, notamment face à un manque de réglementation fédérale.

Ces évaluateurs, souvent constitués en associations à but non lucratif, sont encore en phase de structuration dans un secteur caractérisé par d'importants flux de capitaux et un développement rapide des modèles. Leur mission principale consiste à évaluer les capacités et les risques des modèles d'IA, et à signaler les comportements problématiques de la technologie. Leur rôle prend une importance accrue alors que des entreprises majeures d'IA comme Anthropic et OpenAI recherchent une validation externe pour la sécurité de leurs modèles.

Le PDG d'Anthropic, Dario Amodei, ainsi que la direction d'OpenAI, ont tous deux soutenu l'intégration d'évaluateurs indépendants. Le président Donald Trump a également encouragé les entreprises à collaborer avec des auditeurs externes dans le cadre d'un accord volontaire. Cependant, des questions cruciales concernant le financement, le niveau d'accès et les structures de reporting demeurent sans réponse.

Des experts, tels que Suresh Venkatasubramanian, professeur d'informatique à la Brown University, ont exprimé des préoccupations quant à la viabilité financière. Il a souligné la nécessité de modèles économiques solides pour soutenir ces organisations et maintenir un écosystème fonctionnel pour l'évaluation de la sécurité de l'IA.