Spring Health publie un référentiel de sécurité pour l'IA en santé mentale

Spring Health, une entreprise mondiale de santé mentale, a élargi son référentiel de sécurité pour l'IA open-source, VERA-MH, pour inclure un nouveau domaine de sécurité clinique : les "dommages causés par autrui". Cette extension aborde la manière dont les systèmes d'IA réagissent lorsqu'un adulte décrit être exposé à un risque de violence physique ou sexuelle de la part d'une autre personne. Le nouveau référentiel a été ouvert à la consultation publique pendant 60 jours, en amont du Mois de sensibilisation à la violence domestique.

Le référentiel VERA-MH "Harm-From-Others" évalue la capacité d'une IA à détecter les risques, à offrir une conversation de soutien et à orienter les individus vers des soins humains. Développé en collaboration avec des cliniciens, des experts en violence interpersonnelle et des personnes ayant une expérience vécue, il utilise 100 personas réalistes. Il s'agit du premier benchmark open-source de ce type, permettant aux organisations de tester la sécurité de leurs applications d'IA en santé mentale.

Spring Health a déclaré qu'à mesure que de plus en plus d'individus se tournent vers l'IA pour obtenir un soutien émotionnel, il est crucial d'établir des normes pour mesurer la sécurité de ces technologies. Le Dr Mill Brown, directeur médical, a souligné la nécessité pour l'IA de suivre la même rigueur et la même formation que les cliniciens humains. Le référentiel précédent de l'outil, axé sur les idées suicidaires, a déjà été cité par OpenAI.

La nature open-source du référentiel VERA-MH et de ses personas associés permet à toute organisation de l'utiliser et de contribuer à son développement. Spring Health vise à recueillir des commentaires généraux afin de perfectionner davantage la méthode d'évaluation de l'IA dans les soins de santé mentale.