Le débat sur la sécurité de l'IA révèle les risques de la régulation par couches

Un nouveau modèle de théorie des jeux suggère que les réglementations sur la sécurité de l'IA, si elles se concentrent uniquement sur des parties spécifiques de la chaîne de développement, peuvent s'avérer inefficaces, voire réduire la sécurité globale. Des événements récents impliquant les exigences du gouvernement américain envers Anthropic et les actions de Moonshot AI en Chine ont intensifié les discussions sur les obligations de sécurité des entreprises d'IA et l'impact de la réglementation sur l'innovation et la compétitivité nationale.

La recherche, co-écrite par Jon Kleinberg et Hoda Heidari, souligne que les produits d'IA émergent d'un processus complexe impliquant plusieurs entreprises. Plutôt que de réglementer une seule entité, les réglementations devraient prendre en compte l'ensemble de l'écosystème de développement. Par exemple, lors du développement d'un logiciel de résumé de notes cliniques, un grand fournisseur de modèles d'IA crée un modèle de base, qu'une autre entreprise adapte ensuite à un usage médical. Les responsabilités en matière de sécurité sont réparties entre ces couches, aucune des parties n'étant en mesure d'anticiper pleinement tous les risques potentiels.

L'étude révèle que les réglementations obligeant uniquement les développeurs d'applications à garantir la sécurité (par exemple, pour les chatbots de service client ou les applications médicales) peuvent amener les développeurs de modèles de base à réduire leurs propres investissements en sécurité. Ils pourraient supposer que les entreprises en aval effectueront les vérifications finales. Cela pourrait paradoxalement entraîner une sécurité globale réduite, même si l'entité réglementée augmente ses efforts.

Le modèle de théorie des jeux démontre que des réglementations faibles ciblant uniquement les développeurs de produits finis peuvent amener les créateurs de modèles de base à réduire leur niveau de sécurité plus que les développeurs d'applications ne l'augmentent. Il peut en résulter un produit final moins sûr que sans aucune réglementation.

En revanche, des réglementations correctement calibrées, s'appliquant à la fois aux développeurs de modèles de base et aux créateurs d'applications, peuvent servir de mécanisme d'engagement, garantissant que les deux parties investissent dans la sécurité. Une telle réglementation coordonnée peut améliorer la sécurité et les performances, et potentiellement bénéficier à la situation financière des deux entreprises.