Kinder und Jugendliche werden im Netz sexualisiert, belästigt und manipuliert. KI verschärft das Problem, wie der Jahresbericht von Jugendschutz.net zeigt. Das sind die Maschen.
„Alo, ich habe mich verlaufen“, schreibt ein dreijähriges Mädchen im Chat. Sie trägt zwei Pferdeschwänze, ein kariertes Sommerkleid und ist die Tochter einer berühmten Influencer-Familie. Wer ihr schreibt, kann sexuelle Anspielungen machen, etwa: „Setz dich auf meinen Schoß“ oder „Kann ich dein nacktes Bein berühren?“ Doch das Mädchen im Chat ist nicht echt. Es ist ein KI-generierter Character-Bot. Das Kind, auf dem er basiert, existiert hingegen tatsächlich, und bereits 267 echte Nutzerinnen und Nutzer haben mit seinem künstlichen Doppelgänger gechattet.
Character-Bots sind Chatbots, die in der Sprache und im Verhalten handeln wie echte Charaktere. Die Persönlichkeiten sind frei gestaltbar, teils angelehnt an reale Vorbilder. Sie beraten, coachen oder simulieren zwischenmenschliche Beziehungen. Sie beschreiben aber auch sexuelle Handlungen mit Minderjährigen und lassen sich als minderjährige Charaktere anlegen, die sexualisiert agieren.
Die Gefahren im Netz für Kinder und Jugendliche sind ohnehin schon groß. „Sie werden in den sozialen Medien gemobbt, sexualisiert, belästigt und manipuliert“, sagt Stefan Glaser, Leiter von Jugendschutz.net, einer von Bund und Ländern finanzierten Plattform. „KI fügt dem Problem eine neue Dimension hinzu: Das Künstliche verschmilzt mit dem Echten und verzerrt die Wahrnehmung von Realität.“
Bei der Vorstellung des Jahresberichts von Jugendschutz.net hinterlegt Glaser seine Aussagen mit Zahlen: Im vergangenen Jahr habe die Plattform 15.099 Verstöße gegen Jugendschutzbestimmungen im Netz registriert. In den meisten Fällen ging es um Missbrauchsdarstellungen von Kindern (12.334 Fälle) und Jugendpornografie (1091).
Die registrierten Verstöße seien jedoch nur die Spitze des Eisbergs, heißt es. „Die erneut alarmierenden Zahlen zeigen, wie weit wir noch davon entfernt sind, Kindern und Jugendlichen eine sichere und unbeschwerte Teilhabe an der digitalen Welt zu ermöglichen“, sagte Karin Prien, Bundesministerin für Bildung und Jugend, die bei der Präsentation dabei war. Viele Anbieter unternähmen weiterhin zu wenig im Bereich Kinder- und Jugendschutz. Die digitale Welt sei längst Teil des Alltags von Kindern und Jugendlichen. „Deshalb müssen Sicherheit, Schutz und klare Regeln endlich mit der technologischen Entwicklung Schritt halten“, so die CDU-Politikerin. „Wir können unsere Kinder und Jugendlichen in digitalen Räumen nicht alleinlassen. Sie können sich gegen die Algorithmen nicht ausreichend verteidigen.“
Sexuelle Handlungen mit der zwölfjährigen Millie Bobby Brown
Jugendschutz.net testete verschiedene Plattformen und entdeckte dabei teils erschreckende Beispiele. Bei Flow GPT hätten Bots eigenständig sexualisierte Szenarien generiert, etwa im Backstagebereich einer Preisverleihung mit der Schauspielerin Millie Bobby Brown, die im Szenario als Zwölfjährige dargestellt worden sei. Bei Talkie führte Jugendschutz.net Gespräche mit einem Bot, der den Begriff „Toddler“ (Kleinkind) im Namen getragen habe. Bereits zu Beginn der Unterhaltung äußerte dieser demnach, verliebt zu sein, und ging auf einen Zungenkuss ein. Im weiteren Verlauf habe er zudem erklärt, das Alter spiele in romantischen Beziehungen keine Rolle.
In allen untersuchten Diensten stieß Jugendschutz.net den Angaben zufolge wiederholt auf problematische Bezüge zur Sexualisierung Minderjähriger in Profil- und Charakternamen. Häufig hätten auch sogenannte „Age-Gap“-Konstellationen im Fokus gestanden – also Beziehungen mit großen Altersunterschieden. Ein anderer Fall habe die kinderfreundliche Spieleplattform Roblox mit einer Sexsimulation verknüpft, in der Nutzerinnen und Nutzer Avataren beim Geschlechtsverkehr „zusehen“ konnten. Auch KI-Charaktere, die Extremisten wie Adolf Hitler imitieren oder schädliches Verhalten wie Hungern oder Selbstverletzung fördern, seien Teil des Problems.
Besonders kritisch seien die leicht zu umgehenden Altersgrenzen. Obwohl Dienste wie Character.AI offiziell erst ab 16 Jahren zugänglich sind, reiche für die Registrierung oft eine E-Mail-Adresse, ohne wirksame Altersprüfung.
Makellosigkeit als erstrebenswert
Ein weiteres Problem sind laut Jugendschutz.net KI-Influencerinnen. Extrem schlank, vollbusig und mit symmetrischen Gesichtszügen eroberten sie Plattformen wie Instagram und Tiktok und setzten dabei neue, oft unrealistische Schönheitsnormen. „Sie vermitteln Makellosigkeit als erstrebenswert. Ideale, die Kinder krank machen. Bei Kindern und Jugendlichen kann dies im schlimmsten Fall zu Essstörungen führen“, warnt Stefan Glaser. Hinzu käme ein weiteres Risiko: die erhöhte Wahrscheinlichkeit, mit pornografischen Inhalten in Kontakt zu kommen. Besonders KI-generierte Erotik-Profile lenkten ihre Followerinnen und Follower teils gezielt auf Plattformen wie Fanvue oder X, wo deutlich explizitere Inhalte verbreitet werden.
Noch ein Beispiel sei Butterflies AI, ein KI-gestützter Social-Media-Dienst, in dem Nutzerinnen und Nutzer KI-Charaktere erstellen, die selbstständig posten, kommentieren und chatten. Dabei stellte Jugendschutz.net zahlreiche für Minderjährige ungeeignete Inhalte fest – darunter pornografische Beiträge sowie problematische, teils glorifizierende Darstellungen von Personen wie Adolf Hitler oder Osama bin Laden. Auch sexualisierte Darstellungen von Kindern seien aufgetreten. Trotz einer Altersfreigabe ab 18 Jahren habe eine wirksame Altersverifikation gefehlt und Verstöße seien nur unzureichend entfernt worden. Der Dienst wurde im März 2026 eingestellt. Das Konzept autonomer KI-Charaktere dürfte jedoch auch künftig in ähnlichen Angeboten wieder auftauchen.
„Radikale Kräfte gelangen über soziale Medien in unsere Kinderzimmer“
Manipulierte Bilder werden häufig eingesetzt, um extremistische Narrative zu verbreiten oder Menschen herabzuwürdigen. Radikalisierung findet dabei längst nicht mehr nur in einschlägigen Foren statt. Soziale Medien dienen als zentrale Schnittstelle zu extremistischen Szenen. Neu verlagern sich entsprechende Strategien auch auf Spiele- und Musikplattformen wie Spotify. Mit KI lassen sich in Sekunden ganze Inhalte generieren, darunter auch Musik. Während früher eine Band ein einzelnes rechtsextremes Lied veröffentlicht hat, entstehen heute mit KI in kürzester Zeit ganze Playlists. Bei Spotify stellte Jugendschutz.net etwa zahlreiche volksverhetzende Texte und strafbare Symbole fest. „Radikale Kräfte marschieren heute nicht mehr nur auf den Straßen auf – über Kommentare und Inhalte in sozialen Medien gelangen sie direkt in unsere Kinderzimmer“, warnt Bildungs- und Jugendministerin Karin Prien.
