Studie: KI kann Schülerarbeiten nicht zuverlässig wie menschliche Lehrer bewerten

Eine neue Studie der Universitäten Cardiff und Melbourne hat ergeben, dass generative künstliche Intelligenz (GenAI) derzeit nicht in der Lage ist, schriftliche Arbeiten von Schülern mit der gleichen Zuverlässigkeit wie menschliche Lehrkräfte zu bewerten. Forscher testeten die Fähigkeit von ChatGPT, 50 Aufsätze von Studierenden der Biowissenschaften anhand von sieben Kriterien zu bewerten.

Die Studie nutzte vier verschiedene Prompt-Methoden und verglich die Bewertungen der KI mit den Durchschnittsnoten und Schwankungen menschlicher Bewerter. Während die Gesamtpunktzahlen von KI und Menschen relativ nah beieinander lagen, zeigten sich deutliche Unterschiede bei einzelnen Kriterien und Aufsätzen.

In den meisten Fällen fielen die von der KI vergebenen Durchschnittsnoten höher aus als die von menschlichen Bewertern. Der größte Unterschied bei den Durchschnittsnoten betrug 16,1 Punkte, bei einzelnen Aufsätzen konnten die Abweichungen bis zu 40 Punkte erreichen. Die KI tendierte auch dazu, den Notenspielraum zu komprimieren, indem sie die Punktzahlen für gut bewertete Aufsätze senkte und die für schlechter bewertete erhöhte.

Die Ergebnisse deuten darauf hin, dass KI derzeit nicht geeignet ist, menschliche Lehrkräfte bei der Benotung von Aufgaben zu ersetzen, insbesondere bei subjektiveren schriftlichen Arbeiten. Auch wenn sich die Bewertungsfähigkeiten von KI mit weiterer Entwicklung verbessern mögen, wird es wahrscheinlich schwierig sein, eine Konsistenz mit menschlichem Urteilsvermögen zu erreichen.