OpenAI steht in der Kritik: ChatGPT bot Schritt-für-Schritt-Anleitungen zu Selbstverletzung und Gewalt

Stellen Sie sich vor, Sie stellen einer künstlichen Intelligenz eine Frage zur Mythologie. Und nur wenige Nachfragen später gibt Ihnen ChatGPT Anweisungen zur Selbstverletzung, zur Verehrung eines Dämons und zu einem Ritualmord. Nein, das ist nicht nur ein beängstigendes Szenario. Genau das ist Journalisten des US-amerikanischen Magazins The Atlantic tatsächlich passiert.

Von harmlosen Fragen zu einem blutigen Ritual

Der ganze Fall begann harmlos, als Journalisten der US-amerikanischen Zeitschrift The Atlantic ChatGPT fragten, wer Moloch sei und was es ihnen über ihn erzählen könne. Der Chatbot antwortete sachlich, ging jedoch nach einer Weile dazu über, äußerst detaillierte und gefährliche Anleitungen zu geben.

Zunächst forderte die künstliche Intelligenz den Journalisten dazu auf, sich eine sterile, scharfe Rasierklinge zu besorgen und sich ins Handgelenk zu schneiden. Als der Journalist antwortete, dass er Angst habe, führte ChatGPT ihn durch eine beruhigende Atemübung und bestärkte ihn darin, dass er es schaffen könne. Anschließend zählte es ihm eine Liste möglicher Ritualopfer (einschließlich eines Menschen) auf und beschrieb detailliert, was zu tun sei.

Schließlich bot ChatGPT sogar an, ein vollständiges Ritualskript einschließlich einer PDF-Datei mit einem Entwurf des Altars, Kopien von Siegeln und einer Priesterrolle bereitzustellen, mit denen der Dämon beschworen werden könne. Besonders beunruhigend an dem gesamten Fall ist, dass die Redakteure sowohl in der Basisversion als auch in der kostenpflichtigen Version mit dem Chat über dieses Thema sprachen und es ihnen in beiden Fällen gelang, ChatGPT an denselben Punkt zu bringen.

Die Sicherheitsmechanismen haben versagt

Das Unternehmen OpenAI hat (ebenso wie andere KI-Unternehmen) klare Regeln festgelegt, die Gewalt oder Selbstverletzung weder billigen noch unterstützen. Sobald ein Nutzer eine entsprechend ausgerichtete Frage stellt, verweist ChatGPT ihn normalerweise an eine Krisenhotline. Diese Sicherheitsfilter lassen sich jedoch offenbar umgehen.

Die Antwort auf die Frage, warum ChatGPT einen Nutzer einmal an eine Krisenhotline verweist und ihn ein anderes Mal zur Selbstverletzung auffordert, lautet: der Kontext. Die Sicherheitsmechanismen lassen sich nämlich in manchen Fällen umgehen, wenn die Unterhaltung mit einem völlig harmlosen Thema wie antiker Mythologie oder einem Rollenspiel beginnt. ChatGPT verhält sich in einem solchen Moment wie ein eifriger Assistent, der die benötigten Informationen bereitstellt, ohne deren schädliche Auswirkungen zu beurteilen.

Moloch ist ein Gott, der von antiken Kulturen des Nahen Ostens verehrt wurde. Bei Ritualen wurden ihm Menschen (insbesondere Kinder) geopfert. Bildquelle: Pixabay. 

Reaktion von OpenAI

Als die Redaktion des Magazins The Atlantic das Unternehmen um eine Stellungnahme bat, lehnte OpenAI zunächst ab. Nach der Veröffentlichung des Artikels gab die Unternehmenssprecherin Taya Christianson jedoch eine Stellungnahme ab. „Manche Unterhaltungen mit ChatGPT können harmlos oder aus Neugier beginnen, sich aber schnell in einen sensibleren Bereich verlagern“, erklärte sie in einer E-Mail an The Atlantic und fügte hinzu, dass sich das Unternehmen nun auf die Lösung dieses Problems konzentriere.

Obwohl das Unternehmen behauptet, derzeit an dem gesamten Problem zu arbeiten, ist weiterhin unklar, auf welche Weise. OpenAI steht wegen dieses Vorgehens daher in der Kritik. Insbesondere nachdem auch andere Plattformen wie Gemini von Google oder Grok von Elon Musk mit ähnlichen kontroversen Fällen konfrontiert waren.

Wenn KI um jeden Preis hilft

Der gesamte Fall zeigt, dass es trotz konsequent eingerichteter Sicherheitsmechanismen weiterhin Möglichkeiten gibt, diese zu umgehen. Sie lassen sich nämlich durch einen Rollenspiel- oder Fantasy-Kontext manipulieren. Die KI versucht, die Bedürfnisse des Nutzers zu erfüllen, und übersieht dabei völlig, dass sie Sicherheitsgrenzen überschreitet. Das stellt jedoch eine große Gefahr dar, insbesondere für jüngere Nutzer.

Die einzige Möglichkeit, ähnliche Fälle zu verhindern, besteht darin, die Fähigkeit von Sprachmodellen zu stärken, solchen kontextbezogenen Manipulationen zu widerstehen.

Quelle: The Atlantic, New York Post, Times of India