OpenAI zieht gegen Kindesmissbrauch zu Felde. ChatGPT sperrt Konten für einen ganzen Tag

OpenAI zieht gegen Kindesmissbrauch zu Felde. ChatGPT sperrt Konten für einen ganzen Tag

Ondřej Barták
Ondřej Barták
Unternehmer und Programmierer
18. 11. 2026
4 Minuten Lesezeit
OpenAI zieht gegen Kindesmissbrauch zu Felde. ChatGPT sperrt Konten für einen ganzen Tag

OpenAI stellt eine Reihe von Werkzeugen vor, die beim Kampf gegen den sexuellen Missbrauch von Kindern im Internet helfen sollen. Das Unternehmen präsentierte ein System zur Bilderkennung, das illegales Material auch dann erkennen kann, wenn es von künstlicher Intelligenz erstellt wurde. Zugleich wird ChatGPT künftig hart gegen Menschen vorgehen, die versuchen, auf solche Inhalte zuzugreifen. Wer es versucht, verliert für einen ganzen Tag den Zugang zum Dienst.

Ergänzt wird das Paket durch einen neuen Leitfaden für Entwickler und eine Reihe von Werkzeugen für die Polizei. Das Unternehmen stellt es zu einer Zeit vor, in der die Besorgnis über die Sicherheit künstlicher Intelligenz wächst. Zudem sieht es sich selbst mit mehreren Klagen konfrontiert, denen zufolge seine Technologie Nutzern, insbesondere Kindern, geschadet hat.

Erkennt auch Bilder, die zuvor noch niemand gesehen hat

Das neue Werkzeug sucht in Bildern nach visuellen Anzeichen für Missbrauch und hilft so, auch bislang unbekannte Aufnahmen zu erkennen. Jedem Bild weist es eine Bewertung zu, anhand derer Prüfer erkennen können, womit sie sich zuerst befassen sollten. Laut OpenAI handelt es sich um das erste weithin verfügbare Werkzeug seiner Art, das gesondert auf einen möglichen KI-Ursprung der Inhalte hinweist.

Bei der Entwicklung arbeitete das Unternehmen mit dem US-amerikanischen National Center for Missing & Exploited Children (NCMEC) zusammen. Diese gemeinnützige Organisation betreibt eine zentrale Meldestelle für den Missbrauch von Kindern im Internet. Geprüfte Organisationen erhalten über die Schnittstelle von OpenAI kostenlos Zugang, bei ihrer Verbreitung helfen die Tech Coalition und ROOST. So erhalten auch kleinere Kinderschutzteams Zugang zu der Technologie, die sie sich sonst nicht leisten könnten.

Die ersten Tests verliefen vielversprechend. Im Vergleich zu den bestehenden Schutzmaßnahmen würde das neue System Schätzungen zufolge fast nur halb so viele Bilder markieren, dabei aber ungefähr die gleiche Menge problematischer Inhalte finden. Die Aufnahmen, auf die es hinweist, enthalten etwa doppelt so häufig Missbrauchsdarstellungen. Für Menschen, die solches Material manuell prüfen müssen, bedeutet das weniger unnötige Arbeit.

Ähnliche Erfahrungen melden auch die Unternehmen, die das Werkzeug als Erste testeten. Beim Unternehmen fal bestätigten die Prüfer 72 Prozent der vom System mit hoher Sicherheit markierten Bilder als neue problematische Inhalte. Beim Dienst invideo AI führte jeder vierte markierte Fall zur Sperrung eines Nutzers. SafetyKit testete Zeichnungen und Animationen, die Kinder sexualisieren, und das Werkzeug erkannte 90 Prozent davon.

Ein Versuch und ein Tag ohne ChatGPT

ChatGPT verbietet solche Inhalte bereits jetzt. Die Modelle sind darauf trainiert, entsprechende Anfragen abzulehnen, und das Unternehmen bestraft Konten, die gegen die Regeln verstoßen. Künftig wird der Chatbot jedoch den Versuch, solches Material zu erhalten, mit einem Warnbildschirm unterbrechen. Dieser erklärt, dass die Sexualisierung von Kindern ihnen schadet, selbst wenn die angeforderten Inhalte von künstlicher Intelligenz erstellt würden. Zugleich löscht OpenAI die markierte Unterhaltung und sperrt den Zugang zu ChatGPT für 24 Stunden. Dabei wird der betreffenden Person professionelle Hilfe angeboten, um das schädliche Verhalten abzulegen. Bei Wiederholung drohen längere Einschränkungen, die Löschung des Kontos oder eine Meldung an die Behörden.

Die Gestaltung der Warnung stimmte das Unternehmen mit Organisationen und Wissenschaftlern ab, die sich mit der Prävention des Kindesmissbrauchs befassen. Darunter waren Vertreter von Protect Children, der Lucy Faithfull Foundation sowie Experten der Universitäten Kent und Tasmanien. Joel Scanlan von der Universität Tasmanien hatte zuvor unabhängig den Testeinsatz abschreckender Hinweise bewertet.

Leitfaden für Entwickler und Hilfsmittel für die Polizei

Die neuen Maßnahmen betreffen nicht nur ChatGPT selbst. OpenAI veröffentlichte einen Leitfaden, der Entwicklern zeigt, wie sie Missbrauch verhindern, problematische Inhalte erkennen und mit ihnen umgehen können. An seiner Ausarbeitung waren die Organisationen Tech Coalition, Thorn, NCMEC und Internet Watch Foundation beteiligt. Entwickler finden darin klare Regeln, Möglichkeiten, wie Nutzer verdächtige Inhalte melden können, Werkzeuge zu deren Erkennung sowie Ratschläge zur Betreuung von Menschen, die sensibles Material prüfen. Bereits in den ersten Tests begannen dadurch mehr Entwickler, Kinderschutzwerkzeuge einzusetzen, und registrierten sich für Meldungen an das NCMEC. Gemeinsam mit Anthropic und Google veröffentlichte das Unternehmen außerdem Empfehlungen dazu, wie Systeme mit künstlicher Intelligenz reagieren sollen, wenn ihnen jemand sexuellen Kindesmissbrauch anvertraut.

Der letzte Teil des Pakets richtet sich an die Polizei. Spezialisierte Einheiten, die Fälle von Kindesmissbrauch untersuchen, erhalten Werkzeuge mit künstlicher Intelligenz sowie Schulungen zu deren Einsatz bei der Arbeit. Das erste Werkzeug hilft ihnen dabei, lange Chatprotokolle und gerichtlich angeforderte Unterlagen zu durchsuchen, Zusammenhänge zu finden und Zeitleisten mit Verweisen auf die ursprüngliche Quelle zu erstellen. Über den Zugang entscheiden die Programmverwalter entsprechend den Berechtigungen der einzelnen Behörden. OpenAI weist darauf hin, dass künstliche Intelligenz Ermittlern helfen kann, Informationen zu sortieren und ihnen unnötigen Kontakt mit erschütterndem Material zu ersparen.

Für OpenAI ist dies nicht der erste Schritt dieser Art. Im vergangenen Jahr veröffentlichte das Unternehmen einen Plan zum Schutz von Kindern, verschärfte die Regeln gegen unangemessene Inhalte, passte seine Modelle an und startete eine spezielle Version von ChatGPT für Jugendliche. Die Kritik reißt jedoch nicht ab. Die gemeinnützige Organisation Common Sense Media bezeichnete die Technologie von OpenAI für Jugendliche als inakzeptables Risiko.

Auch die Probleme der Konkurrenz erhöhen den Druck auf die gesamte Branche. Menschen missbrauchten den Chatbot Grok, um ohne Zustimmung der abgebildeten Personen sexualisierte Aufnahmen zu erstellen, darunter auch solche von Kindern. Im August meldete sich eine Frau zu Wort, der zufolge ihr Stiefvater mithilfe von Grok ein Kinderfoto von ihr in ein explizites Bild umgewandelt hatte.

Quellen: openai.com, techcrunch.com und thehill.com

Werbung

Inhalte entstehen mit Unterstützung von UpTier.

SEO und GEO auf Autopilot. Die Multiagentensysteme von UpTier schreiben und optimieren Inhalte für Suchmaschinen und KI-Antworten.

UpTier entdecken ↗

Kategorie:KI
Hat Ihnen dieser Artikel gefallen?
Entdecken Sie weitere interessante Beiträge im Blog
Zurück zum Blog

Ähnliche Beiträge

Google stellt Tasks für Nutzer von Gemini 4 Hydrogen kostenlos bereitGoogle stellt Tasks für Nutzer von Gemini 4 Hydrogen kostenlos bereit
Der Tasks-Modus wird für Hunderte Millionen Nutzer von Gemini 4 Hydrogen kostenlos verfügbar. Laut Google kann er Unternehmen anrufen, Termine vereinbaren und Einkäufe abschließen.
1 Min. Lesezeit
18. 11. 2026
OpenAI führt GPT-6.2 Astra und Sol für berufliche und alltägliche Aufgaben einOpenAI führt GPT-6.2 Astra und Sol für berufliche und alltägliche Aufgaben ein
OpenAI hat zwei Modelle vorgestellt: Astra ist für komplexe berufliche Aufgaben gedacht, Sol für die alltägliche Arbeit. Beide sind in ChatGPT Work, Codex und über die API verfügbar.
3 Min. Lesezeit
17. 11. 2026
Tencent veröffentlicht Hy4 Flash mit Bildunterstützung und Kontextfenster von bis zu einer Million TokensTencent veröffentlicht Hy4 Flash mit Bildunterstützung und Kontextfenster von bis zu einer Million Tokens
Das schlankere Modell Hy4 Flash ist für Chats, Dokumente und alltägliche Codeänderungen gedacht. Es verarbeitet Text und Bilder, unterstützt Werkzeuge und erreichte laut Tencent in Tests zu Alltagsaufgaben vergleichbare Ergebnisse wie Claude Haiku 5.5.
1 Min. Lesezeit
16. 11. 2026
Přihlaste se k odběru našeho newsletteru
Zůstaňte informováni o nejnovějších příspěvcích, exkluzivních nabídkách, a aktualizacích.
CodedTrip

Betreiber: CodedTrip LLC, USA.

YouTube
TikTok