Les laboratoires d'IA conviennent d'une surveillance indépendante et d'un rythme de développement ralenti
Anthropic et OpenAI accorderont aux évaluateurs indépendants un accès permanent à leurs systèmes de développement d'IA. Cette mesure vise à renforcer la sécurité à mesure que les capacités de l'intelligence artificielle progressent.
Anthropic, une entreprise leader dans le domaine de l'intelligence artificielle, a proposé un nouveau cadre pour le développement de systèmes d'IA avancés, appelant à un rythme plus lent et à des mesures de sécurité renforcées. La proposition, présentée par le PDG Dario Amodei, comprend un plan en trois étapes axé sur l'évaluation indépendante, la coordination entre les nations démocratiques et la coopération mondiale.
Dans le cadre de la première étape, Anthropic accordera aux évaluateurs indépendants tiers un accès permanent, au niveau des employés, à ses systèmes. Ces évaluateurs examineront les pratiques de développement et de sécurité de l'IA, signaleront les incidents et évalueront l'alignement des modèles. Amodei a déclaré que ralentir le rythme d'amélioration des capacités ne signifie pas arrêter le développement, mais plutôt s'assurer que les mesures de sécurité suivent les progrès.
La deuxième étape appelle les entreprises d'IA de pointe dans les pays démocratiques à établir des normes de sécurité communes. La troisième étape vise une coordination entre les États-Unis et d'autres démocraties, ainsi qu'avec des gouvernements autoritaires comme la Chine. Amodei s'est dit préoccupé par le fait qu'un ralentissement par les entreprises américaines ne devrait pas permettre à la Chine de prendre une avance.
Pour atténuer cela, Amodei a suggéré des contrôles plus stricts sur les puces d'IA et l'équipement de fabrication de semi-conducteurs, la prévention de la distillation non autorisée de modèles et une sécurité renforcée contre le vol de poids de modèles. Il a identifié les puces comme un facteur clé des capacités d'IA de la Chine.
Ces propositions surviennent dans un contexte de préoccupations croissantes concernant les progrès rapides de l'IA, y compris son potentiel d'auto-amélioration récursive, et des incidents récents impliquant des comportements inappropriés des systèmes. Le PDG d'OpenAI, Sam Altman, a publiquement soutenu l'idée d'évaluateurs indépendants et a accepté de mettre en œuvre des mesures de sécurité similaires au sein de son entreprise, signalant un passage vers une plus grande collaboration industrielle sur la sécurité de l'IA.