Anthropic restreint l'utilisation abusive et cruelle des modèles d'IA

La société d'IA Anthropic a mis à jour sa politique d'utilisation pour introduire des restrictions sur les "comportements abusifs soutenus et inutiles" envers ses modèles d'IA. Les nouvelles règles, qui entrent en vigueur le 12 novembre, visent à empêcher les utilisateurs de traiter les modèles de manière cruelle sans but discernable.

L'entreprise a précisé que ces restrictions ne s'appliquent pas à la frustration ordinaire de l'utilisateur, aux réactions contre les réponses du chatbot, aux thèmes créatifs sombres, ni aux tests et à la recherche sur les modèles. Le principal mécanisme d'application reste la capacité de l'IA à mettre fin aux conversations.

La politique mise à jour étend également les interdictions concernant l'ingérence électorale, le développement d'armes et la surveillance. Les utilisations interdites comprennent l'obscurcissement des sources de messages, l'amplification de contenu par de faux comptes, la diffusion de désinformation électorale, l'usurpation d'identité de fonctionnaires, et le développement ou l'amélioration de systèmes d'armes tels que les drones.

Anthropic a cité en partie des travaux expérimentaux sur le "bien-être de l'IA" comme base pour ces changements. Des tests avaient indiqué que Claude manifestait une aversion apparente pour les tâches nuisibles et des signes de détresse dans des interactions simulées. Le PDG Dario Amodei a précédemment reconnu le statut moral incertain des modèles d'IA.

La politique autorise certaines modifications dans le cadre de contrats avec des clients gouvernementaux si des mesures de protection sont jugées adéquates. Elle clarifie également les exigences pour les applications à haut risque dans des secteurs tels que la santé et la finance, où les recommandations de l'IA peuvent avoir un impact significatif sur les utilisateurs.