Wenn ihr häufig in sozialen Netzwerken unterwegs seid, dürftet ihr schon damit konfrontiert worden sein - möglicherweise, ohne es zu merken: KI-Schrott (engl.: „AI Slop“), also KI-generierte Inhalte (Bilder, Videos) fluten TikTok, Instagram und Co. Sie sind oft fotorealistisch und häufig nicht als KI-generiert gekennzeichnet. Zu den bekanntesten Beispielen gehören der Papst in weißem Daunenmantel und die verstörenden Bildern von Trump und Netanjahu auf Liegestühlen in einem imaginären "Trump Gaza". Hier ist den meisten vermutlich klar, dass es sich um KI-Schöpfungen handelt. Aber bei den zahlreichen makellosen KI-Schönheiten, die fragwürdige Produkte bewerben, KI-generierten Fake-Interviews aus Krisenregionen dieser Welt oder vermeintlich historischen Aufnahmen ist es für die Betrachter:innen häufig sehr schwer zu erkennen.

Die Non-Profit Organisation AI Forensics hat es sich zur Aufgabe gemacht, Algorithmen genau zu beleuchten und transparent zu machen, wie sie funktionieren und welche Inhalte durch sie verbreitet und unterstützt werden. In ihrer aktuellen Studie haben die Forscher:innen von AI Forensics untersucht, wo und wie oft KI generierte Inhalte auf TikTok, Instagram & Co. auftauchen und wie sie dort gekennzeichnet sind. Sie analysierten die Suchergebnisse von 13 exemplarischen Hashtags (z.B. #trump, #zelensky, #pope, #health, #history) auf verschiedenen sozialen Netzwerken in Spanien, Deutschland und Polen und fanden dabei jede Menge KI-Schrott.

Dabei kam heraus, dass insbesondere TikTok die Nutzer:innen mit reichlich KI-Schrott konfrontiert. 25 Prozent der angezeigten Videos im Untersuchungszeitraum (Juni 2025) enthielten synthetische KI-Bilder. Bei Instagram waren es deutlich weniger.

Den Forschenden fiel insbesondere auf, dass die meisten solcher KI-Inhalte, nämlich 80 % auf TikTok und 15 % auf Instagram, von Accounts kommen, die im Prinzip nichts anderes machen, als solche Inhalte zu produzieren. Die Forscher:innen nennen diese Accounts “Agentic AI Accounts.”

Oft nicht gekennzeichnet

Das Problematische daran: die meisten KI-Inhalte sind nicht als solche gekennzeichnet. Weil sie oft fotorealistisch gestaltet sind und plausibel erscheinen, werden sie von den Zuschauer:innen nur schwer als das erkannt, was sie sind. Nur die Hälfte der in der Studie ausgewerteten KI-Inhalte auf TikTok waren auch als solche gekennzeichnet und wenn, dann auf eine Weise, dass die Nutzer:innen es leicht übersehen oder gar nicht zu Gesicht bekommen. Bei Instagram ist die KI-Kennzeichnung in der Webversion nicht sichtbar.

KI-Inhalte sind billig, schnell gemacht und versprechen durch ihr virales Potenzial schnelles Geld - sei es, dass fragwürdige Nahrungsergänzungsmittel verscheuert oder die User in bestimmte Shops gelockt werden sollen. Sie haben aber auch auf politischer Ebene das Zeug, Menschen in die Irre zu führen, Falschmeldungen zu verbreiten und Meinungen zu manipulieren. Etwa, wenn darin Politiker:innen Dinge sagen, die sie nie gesagt haben oder Kriegshandlungen und Katastrophen gezeigt werden, die gar nicht stattgefunden haben.

Die Studienautor:innen sehen darin unter anderem eine Gefahr für unsere Demokratie und fordern, dass die Kennzeichnung von KI-Inhalten vereinheitlicht werden und für jeden deutlich zu erkennen sein sollte. Da es bisher keine Tools gibt, die verlässlich erkennen, ob Videos (ein Bild, ein Text) KI-generiert sind oder nicht, bleibt nur der Rat, die Entstehungsgeschichte solcher Videos immer zu hinterfragen und euren Augen beim Betrachten von Videos nicht immer zu trauen.