Forskning: AI kan inte bedöma uppsatser pålitligt som mänskliga lärare

En ny studie från universiteten i Cardiff och Melbourne visar att generativ AI (GenAI) för närvarande inte kan bedöma elevers skriftliga arbeten lika tillförlitligt som mänskliga lärare. Forskarna testade ChatGPT:s förmåga att bedöma 50 uppsatser från studenter i biovetenskap, baserat på sju kriterier.

Studien använde fyra olika typer av instruktioner och jämförde AI:ns betyg med genomsnittliga betyg och variationer från mänskliga bedömare. Även om de totala poängen från AI och människor var relativt lika, uppstod betydande skillnader när det gällde specifika bedömningskriterier och enskilda uppsatser.

I de flesta fall gav AI:n genomsnittliga betyg högre resultat än de mänskliga bedömarnas. Den största skillnaden i genomsnittliga betyg var 16,1 poäng, och för enskilda uppsatser kunde skillnaden uppgå till 40 poäng. AI tenderade också att jämna ut betygen genom att sänka poängen för högpresterande uppsatser och höja poängen för lågpresterande uppsatser.

Forskningen tyder på att AI för närvarande inte är lämplig för att ersätta lärare i bedömningen av uppgifter, särskilt inte i mer subjektiva skriftliga arbeten. Även om AI:s bedömningsförmåga kan förbättras i takt med dess utveckling, är det inte lätt att uppnå en överensstämmelse med mänskliga bedömare.