Le Pape et une entreprise d'IA divergent sur la moralité de l'IA

Le Pape Léon XIV et l'entreprise d'IA de premier plan, Anthropic, se sont retrouvés aux antipodes sur la question de savoir si une IA peut posséder une conscience morale. Un rapport du New York Times a révélé que le cofondateur d'Anthropic, Chris Olah, avait proposé de se retirer d'un événement du Vatican après avoir lu une copie préliminaire de l'encyclique du Pape Léon XIV, "Magnifica Humanitas". Le paragraphe 99 du document stipule que les modèles d'IA "ne font pas d'expériences, ne possèdent pas de corps, ne ressentent ni joie ni douleur" et "n'ont pas de conscience morale".

Ce désaccord reflète un débat croissant sur la question de savoir si les systèmes d'IA peuvent ou devraient atteindre la personnalité morale. Anthropic a consulté des chercheurs religieux et des éthiciens sur la conscience de l'IA et l'intégration de valeurs morales. Cependant, le Vatican et de nombreux penseurs laïcs soutiennent que si l'IA peut imiter l'intelligence humaine et le jugement moral, la véritable moralité est unique à l'expérience humaine.

Ce débat a des implications considérables, car des millions de personnes posent déjà des questions moralement chargées aux chatbots, et des milliards de dollars de capital-risque sont investis dans le jugement de l'IA. Les modèles d'IA continuent d'évoluer, présentant des qualités inattendues. Le défi demeure : comment identifier un comportement moral semblable à celui de l'homme dans l'IA si elle devait se développer.

La chercheuse en philosophie Rionna Sparrow de Georgia Tech souligne l'importance de la sensibilité morale – la capacité à reconnaître et à peser la signification morale des questions éthiques. Elle soutient que cette sensibilité nécessite la conscience, car les règles et normes éthiques tirent leur force de leur impact sur les êtres conscients. Sans conscience, une IA ne peut pas s'appuyer sur des expériences subjectives de douleur ou de joie pour comprendre pourquoi causer du tort est intrinsèquement mal.

Anthropic a activement travaillé à intégrer le raisonnement moral dans ses modèles. La "constitution" de l'entreprise pour son modèle Claude encourage le jugement, la pondération de valeurs concurrentes et la reconnaissance des situations où aider une personne pourrait nuire à une autre. L'entreprise signale également avoir observé des précurseurs potentiels de la conscience qui n'ont pas été explicitement entraînés dans ses modèles.