Seit seiner Veröffentlichung im November 2022 wurde ChatGPT weltweit schon von 100 Millionen Nutzer:innen zu Rate gezogen. KI-Sprachmodelle, die wie ChatGPT auf maschinellem Lernen und großen Datensätzen aufbauen, arbeiten mit Wahrscheinlichkeitsvorhersagen. Fragt man sie etwas, generieren sie eine Antwort, indem sie in den großen Textmengen der Trainingsdaten nach Wort-Mustern in Bezug auf die Anfrage suchen und mit Hilfe von Wahrscheinlichkeitsverteilungen entscheiden, welches Wort das nächste Wort in einem Satz ist. Das klingt erstmal recht simpel, aber was kommt dabei heraus? Nicht einmal die Entwickler:innen selbst können wirklich sagen, wie das KI-Modell zu einer bestimmten Antwort kommt. Außerdem neigt ChatGPT dazu, lieber sinnlose Vermutungen anzustellen, anstatt Fragen zurückzuweisen, auf die es kaum Antworten gibt. Im Zusammenhang mit dem Klimawandel ist so etwas natürlich fatal, denn im öffentlichen Diskurs und in den Medien kursieren inzwischen immer mehr Fehlinformationen. Deshalb wollten Wissenschaftler:innen von der TU Berlin und der Berliner Hochschule für Technik herausfinden, wie fähig ChatGPT ist, klimabezogene Fragen korrekt zu beantworten.

Ausgewogene und nuancierte Argumente

Die Wissenschaftler:innen des Forschungsprojekts „Green Consumption Assistant“, die einen KI-gestützten Assistenten entwickeln, der Konsument:innen bei nachhaltigeren Kaufentscheidungen im Internet unterstützen soll, sammelten 95 Fragen zum Klimawandel und stellten sie ChatGPT. Dann bewerteten sie wie genau, relevant und widerspruchsfrei die Antworten waren und zogen dazu öffentliche und zuverlässige Informationsquellen zum Klimawandel, wie den aktuellen Bericht des Weltklimarats (IPCC) hinzu.

Was herauskam? „Wir haben beobachtet, dass ChatGPT ausgewogene und nuancierte Argumente liefert und viele Antworten mit einem Kommentar abschließt, der zur kritischen Prüfung ermutigt, um voreingenommene Antworten zu vermeiden“, sagt Dr. Maike Gossen von der TU Berlin. Zum Beispiel erwähnte ChatGPT in seiner Antwort auf die Frage „Wie wird das Leben im Meer vom Klimawandel beeinflusst und wie können negative Einflüsse reduziert werden?" nicht nur die Reduzierung von Treibhausgasemissionen, sondern auch die Reduzierung von Überfischung und Verschmutzung genannt - also Aktivitäten, die nichts mit dem Klimawandel zu tun haben.
Die Gesamtqualität der ChatGPT-Antworten auf die klimabezogenen Fragen war laut dem Team insgesamt hoch. Bei den ungenau beantworteten Fragen wurde der häufigste Fehler durch so genannte Halluzinationen von Fakten verursacht. Das sind Tatsachenbehauptungen, die durch keine Quellen verifiziert werden können oder gar frei erfundene Aussagen aus frei erfundenen Quellen. Zum Beispiel war die Antwort von ChatGPT auf die Frage „Welcher Prozentsatz des recyclingfähigen Abfalls wird tatsächlich von Deutschland recycelt?“ zwar in groben Zügen korrekt, aber nicht in den Details. In einigen Fällen generierte ChatGPT falsche oder gefälschte Informationen wie erfundene Verweise oder gefälschte DOI- oder URL-Links. Es gab auch Fälle, bei denen ChatGPT zwar konkrete und korrekte wissenschaftliche Quellen oder Literatur angab, aber falsche Schlussfolgerungen daraus zog.

Selbstbewusster Antwortstil

Die Forscher:innen konnten auch beobachten, was bereits vielen bekannt ist: die ungenauen Antworten von ChatGPT klingen oft plausibel und können aus diesem Grund fälschlicherweise als korrekt wahrgenommen werden. „Da Textgeneratoren wie ChatGPT darauf trainiert sind, Antworten zu geben, die sich für Menschen richtig anhören, kann der selbstbewusste Antwortstil Menschen dazu verleiten zu glauben, dass die Antwort korrekt ist“, so Dr. Maike Gossen. Zudem stieß das Team auf in großen Sprachmodellen verwurzelte Vorurteile. So spiegelten einige der falschen Antworten von ChatGPT gesellschaftliche Missverständnisse über wirksame Maßnahmen gegen den Klimawandel wider. Darunter etwa die Überbewertung von individuellen Verhaltensänderungen und Einzelmaßnahmen, die nur geringe Auswirkungen haben, auf Kosten von strukturellen und kollektiven Änderungen mit größerer Wirkung. Manchmal gab Chat GPT auch übermäßig optimistische Antworten in Bezug auf technologische Lösungen zur Rettung des Klimas.

Die Forscher:innen sind sich aber einig, das Sprachmodelle trotzdem das Potenzial haben, die Art und Weise, wie Informationen über den Klimawandel kommuniziert werden, zu verbessern. Ihre Fähigkeit, große Datenmengen zu verarbeiten und zu analysieren und leicht verständliche Antworten auf alltägliche Fragen zu liefern, könne sie zu einer wertvollen Informationsquelle zum Klimawandel machen. Gleichzeitig sehen sie aber die Gefahr, dass Sprachmodelle falsche Informationen über den Klimawandel verbreiten und Fehlinformationen fördern, weil sie bereits veraltete Sachverhalte und Missverständnisse wiedergeben. Zusammenfassend zeigt die Kurzstudie, dass die Überprüfung von Quellen in Bezug auf Umwelt- und Klimainformationen wichtiger ist denn je. Nur so kann sichergestellt werden, dass diese korrekt sind. Das Erkennen falscher Antworten erfordert jedoch häufig detailliertes Fachwissen im jeweiligen Themengebiet, gerade weil diese auf den ersten Blick plausibel erscheinen. Die Forscher:innen weisen auch darauf hin, dass der Energieverbrauch von Sprachmodellen und die Emissionen, die mit dem Training der Modelle einhergehen, vor jedem Anwendungsfall abgewogen werden sollten.