KI verschärft Risiken für Kinder und Jugendliche im Netz

Das Gefährdungspotenzial für Kinder und Jugendliche im Netz nimmt zu. Aktuell macht es generative KI immer schwerer, Realität von Fälschung zu unterscheiden und verstärkt Risiken wie sexualisierte Gewalt, Mobbing und Extremismus. Dies ist ein zentraler Befund des Jahresberichts von jugendschutz.net, dem gemeinsamen Kompetenzzentrum von Bund und Ländern für den Jugendschutz im Internet.

2023 bearbeitete jugendschutz.net 7.645 Verstoßfälle. Davon sind zwei Drittel sexualisierter Gewalt zuzuordnen. Bei 12 Prozent handelt es sich um Sex / Pornografie, bei 11 Prozent um politischen Extremismus. Fünf Prozent gingen auf selbstgefährdende Inhalte zurück und zwei Prozent auf Cybermobbing.

3.210 Verstöße meldete jugendschutz.net an Anbieter und Selbstkontrolleinrichtungen mit dem Ziel der schnellen Abhilfe. 105 Verstoßfälle wurden an die Kommission für Jugendmedienschutz (KJM) zur Einleitung eines Aufsichtsverfahrens übermittelt. Außerdem wurden 252 Fälle an die KJM zur Indizierung durch die Bundeszentrale für Kinder- und Jugendmedienschutz (BzKJ) abgegeben. 3.582 Fälle sendete jugendschutz.net an die Strafverfolgungsbehörden, da kinder- und jugendpornografische Inhalte verbreitet wurden oder Gefahr für Leib und Leben bestand. Am Jahresende waren bei 6.902 Fällen (90 %) die Verstöße beseitigt.

Altersprüfung und Meldesysteme der Anbieter unzureichend

Stefan Glaser, Leiter von jugendschutz.net: „Online-Trends werden schnelllebiger und riskanter, Deepfakes sind inzwischen täuschend echt und einfach zu erstellen. Die Hemmschwellen für Übergriffe im digitalen Raum sinken. Wir sehen, dass der Krieg in Nahost für antisemitische oder muslimfeindliche Hasspropaganda instrumentalisiert wird. Auch Darstellungen sexualisierter Gewalt an Kindern werden ohne Skrupel verbreitet. Und wir nehmen vermehrt Beiträge in Social Media wahr, die junge Menschen zu gesundheitsgefährdendem Verhalten anstiften. Bei all dem kommen auch KI-generierte Inhalte zum Einsatz. Gleichzeitig muss leider konstatiert werden: Betreiber von Angeboten tun zu wenig, um Kinder und Jugendliche zu schützen. Sie reagieren unzureichend, wenn ihnen Verstöße gemeldet werden. Und sie überprüfen die Altersangaben von Nutzenden nicht angemessen. Gute Ansätze, wie möglichst sichere Voreinstellungen für bestimmte Altersgruppen, entfalten dadurch kaum Wirkung.“

Dr. Marc Jan Eumann, Vorsitzender der Kommission für Jugendmedienschutz (KJM): „Eins ist klar: Altersprüfung ist der Schlüssel zum sicheren Surfen für Kinder und Jugendliche. Die Technologie ist vorhanden, nun sind die Plattformen gefordert, Verantwortung zu übernehmen. Die KJM hat bereits viele Systeme positiv bewertet, darunter auch Systeme, die bei der Schätzung des Alters mittels Echtzeit-Gesichtserfassung ansetzen; ganz ohne Ausweispapiere. Die Zeit zu Handeln ist nicht irgendwann, sondern jetzt.“

Der aktuelle Jahresbericht von jugendschutz.net steht zum Download bereit unter: https://www.jugendschutz.net/bericht

Quelle: Bundesministerium für Familie, Senioren, Frauen und Jugend