OpenAI publie MentalHealthBench pour évaluer les capacités d'IA en santé mentale
OpenAI a lancé MentalHealthBench, une référence ouverte comprenant 1215 conversations synthétiques sur la santé mentale, conçue pour évaluer la capacité des systèmes d'IA à gérer des scénarios réels.
La société de recherche en intelligence artificielle OpenAI a publié MentalHealthBench, un nouvel outil destiné à évaluer la compétence des modèles d'IA dans la gestion des conversations relatives à la santé mentale.
Cette référence comprend 1215 dialogues psychologiques synthétiques, couvrant un large éventail de situations, des préoccupations quotidiennes aux scénarios d'urgence. Son développement a impliqué plus de 80 psychologues et psychiatres agréés de 22 pays, utilisant 19 langues et représentant près de 20 domaines spécialisés de la santé mentale. Chaque dialogue est accompagné de critères d'évaluation définis par des experts.
OpenAI indique que les méthodes d'évaluation actuelles se concentrent souvent étroitement sur les urgences et emploient des normes générales. MentalHealthBench vise à combler cette lacune en offrant une évaluation plus complète des performances de l'IA dans diverses interactions de santé mentale. L'entreprise espère que cette publication permettra à d'autres chercheurs d'examiner la méthodologie, de réaliser des évaluations indépendantes et de s'appuyer sur ces travaux.
Les premiers résultats des tests indiquent que les propres modèles d'OpenAI, tels que GPT-6 Astra, ont obtenu les meilleurs scores. Cependant, les conclusions ont également mis en évidence des domaines à améliorer, en particulier la capacité des modèles à recueillir des informations de fond pertinentes et à évaluer précisément l'urgence. OpenAI souligne que ChatGPT ne remplace pas une thérapie professionnelle ni des services médicaux.
L'ensemble de données MentalHealthBench est disponible en téléchargement. OpenAI demande aux chercheurs de s'abstenir de publier le contenu de cet ensemble de données mot pour mot, afin d'éviter qu'il n'intègre les données d'entraînement des modèles et ne fausse les futures évaluations.