Le filigrane textuel d'Anthropic pourrait prêter à confusion

L'entreprise d'IA Anthropic introduit une nouvelle technique pour identifier le texte produit par son modèle Claude. Cette méthode agit comme une empreinte statistique plutôt qu'un filigrane traditionnel et visible.

Le système fonctionne en permettant au modèle d'IA de privilégier certains choix de mots lors de la prédiction du mot suivant dans une phrase. Sur de longs passages, ces préférences créent un schéma statistique qu'Anthropic peut détecter. L'entreprise souligne que ce marquage n'est pas directement visible, n'identifie pas l'utilisateur et ne prouve pas que l'intégralité du texte a été générée par une IA. Son efficacité peut également être réduite pour des textes courts, factuels, riches en code, ainsi que pour des contenus considérablement modifiés ou traduits.

Anthropic affirme que le filigrane n'affectera pas de manière notable la qualité, la vitesse ou le coût du texte. La mise en œuvre est conforme aux réglementations européennes sur l'IA et aux codes de pratique de l'industrie exigeant que le contenu généré par l'IA soit marqué, ce qui suggère que la conformité réglementaire est un moteur clé.

L'article remet en question les implications plus larges de la détection de texte par IA, notant son utilisation potentielle dans les évaluations académiques et de prix. Il soulève également la question de savoir si l'utilisation de l'IA dans l'éducation devrait être normalisée, en déplaçant l'accent sur la mesure de l'apprentissage réel. Le rapport souligne les imperfections des outils de détection d'IA, met en garde contre les faux positifs potentiels et explore les défis liés à l'identification du contenu généré par plusieurs plateformes d'IA.