ChatGPT schreibt die besseren Schulaufsätze

Studie der Universität Passau: Überraschend klares Ergebnis bei englischsprachigen Aufsätzen

ChatGPT hat sich in Sachen schulische Anforderungen deutlich verbessert. Nachdem das Vorgängermodell ChatGPT 3.5 Anfang des Jahres noch am bayrischen Abitur gescheitert war, erreichte der Nachfolger ChatGPT 4.0 bereits eine glatte 2. Auch Forscher:innen der Universität Passau bescheinigen dem Sprachmodell große Fortschritte in ihrer aktuellen Studie, die kürzlich im Nature-Journal „Scientific Reports“ erschienen ist. Das Forschungsteam hatte mit beiden Versionen experimentiert und über 100 Lehrkräften insgesamt 270 maschinengenerierte Texte und Aufsätze von Schüler:innen der Oberstufe vorgelegt. Die Lehrkräfte sollten sie nach den Richtlinien des niedersächsischen Kultusministeriums bewerten. Heraus kam: Die Maschine schreibt die besseren Aufsätze.

Prof. Dr. Steffen Herbold, Initiator der Studie an der Universität Passau, zeigte sich von der Klarheit der Ergebnisse überrascht. Denn beide Versionen des Chatbots schnitten in allen Bereichen besser ab als die Schüler:innen, wobei GPT-3 im Mittelfeld lag und GPT-4 die beste Leistung aufwies. „Das zeigt, dass Schulen diese neuen Werkzeuge nicht ignorieren sollten.“

Bestnoten in der Sprachbeherrschung

Vor allem in der Sprachbeherrschung erreichte die Maschine beste Bewertungen von den Lehrkräften (5,25 für GPT-4 und 5,03 Punkte für GPT-3) von 6 erreichbaren Punkten. Die Schüler:innen kamen hingegen nur auf eine durchschnittliche Bewertung von 3,9 Punkten. Hautli-Janisz, Juniorprofessorin an der Universität Passau, betone, das liege aber nicht daran, dass Schüler:innen schlecht Englisch könnten, sondern daran, dass die Maschine überdurchschnittlich hohe Werte erziele.

Die Forscher:innen konnten aus den Analysen der maschinengenerierten Texte herauslesen, dass ChatGPT besser geworden ist und auch, dass es Unterschiede in der maschinengenerierten Sprache und der menschlichen Sprache gibt. Für die Forschenden stellt sich damit auch die Frage, wie sich wohl die menschliche Sprache verändert, wenn Menschen immer mehr maschinengenerierte Texte zu lesen bekommen.

Dass Lehrer:innen dieses Tool nicht ignorieren sollten und können, liegt auf der Hand. Aber was bedeutet das alles eigentlich für Schüler:innen? Dass es sich nicht lohnt, Texte selbst zu schreiben und den sprachlichen Ausdruck zu verbessern, weil die Maschine es ja sowieso besser kann? Und ist es am Ende wie beim Doping im Sport: weil fast alle es nutzen, hat man nur noch Chancen auf Erfolge, wenn man mitzieht. Auch hierfür werden Schulen wohl eine Antwort finden müssen, vor allem, wie sie Schüler:innen künftig motivieren wollen, selbst zum Stift zu greifen und sich in eigenen Worten auszudrücken.