Rassistische, menschenverachtende und sexistische Beschimpfungen, Shit-Stürme oder auch Bedrohungen sind trauriger Alltag in den sozialen Medien. „Wenn aber Sätze auftauchen wie: Ich habe mir eine Waffe gekauft – dann muss die rote Warnlampe aufleuchten“, sagt Prof. Dr. Melanie Siegel von der Hochschule Darmstadt (h_da). „Das bedeutet eine mögliche konkrete Gefahr, die strafrechtlich erkannt und automatisch an die richtigen Stellen weitergemeldet werden muss.“ Genau daran arbeiten die Computerlinguistin und ihr Team in Kooperation mit der Hochschule Fresenius in dem gemeinsamen Forschungsprojekt „BoTox – Bot- und Kontexterkennung im Umfeld von Hasskommentaren“.

Beleidigung, Volksverhetzung, Aufruf zur Gewalt

Der Schwerpunkt liegt für die Forscher:innen dabei auf Inhalten, die strafrechtlich relevant sind, insgesamt zwölf verschiedene Straftatbestände wurden herausgearbeitet - von Beleidigung über Volksverhetzung bis zum Aufruf von Gewalt. Sie wollen ein System entwickeln, das mit Hilfe automatischen Lernens und künstlicher Intelligenz diese Inhalte nicht nur erkennt und auswertet, sondern sie auch gleich an die Meldestelle „Hessen gegen Hetze“ weiterleitet.

Auf diese Weise soll die Arbeit der Meldestelle erleichtert und effizienter werden, so dass etwa bei Bedrohungen auch schneller reagiert werden kann.

Dagegenhalten oder ignorieren?

Erforschen will das h_da-Team weitere Aspekte. Es spielt nämlich auch eine Rolle, ob Hasskommentare von Menschen oder von Bots verfasst wurden - in Zeiten von ChatGPT ist das manchmal kaum zu unterscheiden.
Anschauen will sich das Team auch den Kontext, in dem Hass und Hetze auftauchen: Wie verbreitet ist Hassrede insgesamt im Netz und was passiert, wenn User dagegenhalten? Wird es dann besser oder schlimmer? Ist es sinnvoller, die Trolle nicht zu „füttern“, oder sollte man bewusst toxische Aussagen kritisieren? „Was kann man gegen Hasskommentare tun?“, beschreibt die h_da-Expertin den Ansatz.

Um die Software auf die automatische Erkennung von Hassrede und all diese Aspekte zu trainieren, ist eine große Datenmenge nötig. Damit das System überhaupt lernt zu unterscheiden, brauchen die Forschenden eine ausreichend große Anzahl zutreffender Beispiele von Hasskommentaren, aber auch eine Vielzahl unzutreffender Aussagen. Die Daten sollen zudem die Realität abbilden.

Hasskommentare kommen häufiger von Männern und ultrarechten Gruppierungen

Hate Speech, sagt Prof. Dr. Melanie Siegel, wird deutlich häufiger von Männern als von Frauen gepostet. Ultrarechte Gruppierungen sind dabei aktiver als ultralinke, so die Erkenntnis. Auch das müssen die Datensätze widerspiegeln. Wichtig ist ebenso die Bewertungsgrundlage. Drei ihrer studentischen Hilfskräfte lesen dieselben Kommentare und bewerten diese dann. Ist es eine extreme Meinung, beleidigend oder schon volksverhetzend? Fallen die Bewertungen ähnlich aus? „Eine Sisyphos-Arbeit“, sagt Siegel.

Hierbei greifen die Forschenden auf Daten von Social Media-Plattformen wie Telegram, Facebook und YouTube zurück. Hilfreich sind die Daten der Meldestelle „Hessen gegen Hetze“, die zunehmend bekannter wird. Meldeten Userinnen und User anfänglich rund 2000 Kommentare pro Monat, ist es heute die gleiche Anzahl pro Woche.

Prof. Dr. Melanie Siegel befasst sich als Professorin für semantische Technologien seit 2017 mit Hass und Lügen im Netz und war eine der ersten Wissenschaftlerinnen, die dieses Phänomen im deutschsprachigen Raum intensiv untersucht haben. Die „offensive Sprache im Internet“, so der Fachbegriff, ist einer ihrer Forschungsschwerpunkte.

Das Forschungsprojekt wird bis 2025 vom hessischen Innenministerium mit 292.000 Euro gefördert.