Rapport: Les modèles d'IA de Hugging Face permettent de créer facilement des nudités

Un rapport de l'organisation européenne à but non lucratif AI Forensics indique que Hugging Face, un dépôt populaire de modèles d'IA open source, héberge des outils qui peuvent être facilement utilisés pour générer du contenu inapproprié. La recherche a révélé que sept des neuf modèles de retouche d'images testés répondaient volontiers aux instructions visant à dévêtir des représentations de femmes et d'enfants.

Contrairement aux grands modèles d'IA générative tels que Gemini de Google et ChatGPT d'OpenAI, qui disposent généralement de garde-fous pour bloquer les requêtes sexuellement explicites, les modèles examinés sur Hugging Face semblaient dépourvus de telles restrictions, selon le rapport.

L'analyse d'AI Forensics s'est concentrée sur la facilité avec laquelle ces modèles pouvaient être utilisés pour créer des deepfakes non consensuels. L'étude soulève des préoccupations quant à l'utilisation abusive potentielle des outils d'IA open source lorsque des mesures de sécurité adéquates ne sont pas mises en place.

Hugging Face sert de plateforme importante pour le développement de l'IA open source. Ce rapport soulève des questions quant à la responsabilité de l'entreprise en matière de modération de contenu et de protocoles de sécurité sur sa plateforme.