Meta hat rechtliche Schritte gegen Joy Timeline HK Limited aus Hongkong eingeleitet. Das Unternehmen betreibt die App CrushAI, die mit Hilfe künstlicher Intelligenz sexualisierte Deepfakes erstellt. Nach Angaben des Konzerns hat der Entwickler Metas Richtlinien systematisch umgangen, um auf Facebook und Instagram Werbung zu schalten.
Verdeckte Netzwerke schleusen tausende Anzeigen auf die Plattformen
Joy Timeline nutzte ein komplexes Geflecht aus mehr als 170 Geschäftskonten und 135 Facebook-Seiten. Über 55 Nutzer verwalteten dieses Netzwerk, um über 87.000 Anzeigen zu verbreiten, die gegen Metas Regeln verstoßen. Zielgruppen waren vor allem Nutzer in den USA, Großbritannien, Kanada, Australien und Deutschland.
Die Werbung versprach unter anderem, Kleidung per Klick von Bildern zu entfernen. Diese Angebote richteten sich häufig gegen Personen, die keine Zustimmung zur Nutzung ihrer Bilder gegeben hatten.
Künstliche Intelligenz erzeugt entwürdigende Inhalte
CrushAI ermöglichte es, mit einem Foto binnen Sekunden entkleidete Abbilder realer Menschen zu erzeugen. Werbeslogans wie „Nur ein Foto hochladen und sofort nackt sehen“ oder „Digital entkleiden in einer Minute“ begleiteten diese Anzeigen. Trotz Metas Verbot nicht-einvernehmlicher Nacktheit blieben viele dieser Inhalte aktiv.
Medien und Politik prangern Kontrolllücken an
Technikjournalisten deckten auf, dass ein Großteil des Traffics von CrushAI über Metas Plattformen lief. Trotz der internen Richtlinien erschien eine große Zahl der Anzeigen auf Facebook und Instagram. Infolge dieser Enthüllungen verlangte Senator Dick Durbin in einem Schreiben an Mark Zuckerberg Aufklärung.
Gesetzgeber verschärfen Regeln für KI-generierte Bilder
Angesichts prominenter Opfer wie Taylor Swift, Alexandria Ocasio-Cortez und zahlreicher Schülerinnen reagierte die US-Regierung. Sie verabschiedete das Gesetz „Take It Down Act“, das Tech-Plattformen verpflichtet, solche Inhalte umgehend zu entfernen. Es stellt auch das Teilen nicht-einvernehmlicher Deepfakes unter Strafe.
Neue Erkennungssysteme sollen Regelverstöße stoppen
Meta entwickelte daraufhin automatisierte Prüfverfahren, die nicht nur Bilder, sondern auch Schlüsselwörter, Emojis und Phrasen erkennen. Diese Systeme entstehen in Zusammenarbeit mit externen Fachkräften, um gezielt Deepfake-Werbung aufzuspüren – auch wenn diese auf den ersten Blick harmlos wirkt.
Anbieter nutzen gezielte Täuschung, um Sperren zu umgehen
Statt offener Nacktbilder verwenden die Werbetreibenden neutrale Motive und wechseln ständig ihre Domains. Durch diese Taktiken unterlaufen sie bestehende Schutzmaßnahmen. Meta beschreibt den Markt als hochdynamisch, da finanzielle Interessen zur ständigen Weiterentwicklung führen.
Plattformübergreifende Zusammenarbeit gegen Missbrauch
Im Rahmen des Projekts „Lantern“ arbeitet Meta mit anderen Tech-Unternehmen zusammen. Die Initiative, gegründet von der Tech Coalition, dient dem Austausch über verdächtige Anwendungen. Gemeinsam wollen die Plattformen sexualisierte Ausbeutung durch KI bekämpfen.
Rückbau automatisierter Moderation sorgt für Kritik
Seit Anfang des Jahres überprüft Meta nur noch besonders schwere Verstöße wie Terrorinhalte, Kindesmissbrauch oder Betrug automatisch. Andere Inhalte müssen von Nutzern gemeldet werden, bevor sie geprüft werden. Sicherheitsexperten warnen vor Folgen dieser Entscheidung.
Meta fordert Schadenersatz und will weitere Verstöße verhindern
Der Konzern beziffert den entstandenen Schaden durch die Ermittlungen und Durchsetzung der Regeln auf 289.000 US-Dollar. Mit der Klage will Meta erreichen, dass Joy Timeline dauerhaft keine Werbung mehr auf den Plattformen schalten kann – und ein Zeichen gegen KI-Missbrauch setzen.
