OpenAI veröffentlicht MentalHealthBench zur Bewertung von KI-Fähigkeiten im Bereich psychische Gesundheit

Das KI-Forschungsunternehmen OpenAI hat MentalHealthBench veröffentlicht, ein neues Werkzeug zur Bewertung der Kompetenz von KI-Modellen bei der Handhabung von Gesprächen im Bereich der psychischen Gesundheit.

Die Benchmark umfasst 1215 synthetische psychologische Dialoge, die eine breite Palette von Situationen abdecken, von alltäglichen Anliegen bis hin zu Notfällen. An ihrer Entwicklung waren über 80 lizenzierte Psychologen und Psychiater aus 22 Ländern beteiligt, die 19 Sprachen verwendeten und fast 20 spezialisierte Bereiche der psychischen Gesundheit repräsentierten. Jeder Dialog wird von Experten definierte Bewertungskriterien begleitet.

OpenAI gibt an, dass sich aktuelle Bewertungsmethoden oft eng auf Notfälle konzentrieren und breite Standards anwenden. MentalHealthBench zielt darauf ab, diese Lücke zu schließen, indem es eine umfassendere Bewertung der KI-Leistung in verschiedenen Interaktionen zur psychischen Gesundheit bietet. Das Unternehmen hofft, dass die öffentliche Veröffentlichung es anderen Forschern ermöglicht, die Methodik zu überprüfen, unabhängige Bewertungen durchzuführen und auf der Arbeit aufzubauen.

Erste Testergebnisse deuten darauf hin, dass die eigenen Modelle von OpenAI, wie GPT-6 Astra, in der Benchmark am besten abgeschnitten haben. Die Ergebnisse zeigten jedoch auch Verbesserungspotenzial auf, insbesondere in Bezug auf die Fähigkeit der Modelle, relevante Hintergrundinformationen zu sammeln und die Dringlichkeit genau einzuschätzen. OpenAI betont, dass ChatGPT kein Ersatz für professionelle Therapie oder medizinische Dienstleistungen ist.

Der MentalHealthBench-Datensatz steht zum Download bereit. OpenAI bittet Forscher, den Inhalt des Datensatzes nicht wortwörtlich zu veröffentlichen, um zu verhindern, dass er in Trainingsdaten für Modelle gelangt und zukünftige Bewertungen verunreinigt.