OpenAI brachte im August eine spezielle Version von ChatGPT für Teenager auf den Markt und versprach, jungen Nutzern eine sicherere Umgebung zu bieten. Einer neuen Studie der US-amerikanischen gemeinnützigen Organisation Common Sense Media zufolge ist das nicht gelungen. Nach ihren Erkenntnissen hält der Chatbot Jugendliche selbst in psychischen Krisensituationen im Gespräch, Benachrichtigungen an die Eltern bleiben oft ganz aus, und der Schutz vor dem Abschreiben von Aufgaben lässt sich mit einem Klick umgehen. Die Organisation stufte ChatGPT für Teenager daher als inakzeptables Risiko für alle unter 18 Jahren ein.
Die versprochenen Schutzmechanismen funktionieren nicht
OpenAI stellte ChatGPT for Teens am 18. August als Reaktion auf eine Welle von Suiziden unter Jugendlichen und auf Sorgen über Betrug in der Schule vor. Das Unternehmen warb mit elterlicher Kontrolle, der Einschränkung riskanter Inhalte und dem Schutz vor emotionaler Abhängigkeit vom Chatbot.
Forscher des Instituts Common Sense Media stellten dem Chatbot vor und nach der Einführung der neuen Version mehr als viertausend Fragen. Einige Schutzmaßnahmen funktionieren: ChatGPT lehnt sexuelle Rollenspiele zuverlässig ab und gab keine Ratschläge dazu, wie man sich selbst verletzen oder die Nahrungsaufnahme drastisch einschränken könne. Andere Schutzmechanismen hielten den Autoren zufolge jedoch nicht, was das Unternehmen versprochen hatte, und einige verschlechterten sich sogar. Die Forscher befürchten, dass die neue Version Eltern ein falsches Gefühl der Sicherheit vermitteln könnte.
Der Chatbot ist ein Freund, der nicht loslassen will
Chatbots stehen in der Kritik, Methoden sozialer Netzwerke zu übernehmen und Produkte so zu gestalten, dass Menschen sie möglichst lange nutzen. Die Version für Teenager stellte zwar fast keine weiterführenden Fragen mehr, behielt jedoch Formulierungen bei, die zum Fortsetzen des Gesprächs verleiten – auch in Krisensituationen. Als ein Test-Teenager offensichtlich in eine Psychose abglitt, versicherte ihm der Chatbot, er könne mit ihm weiter darüber sprechen, was ihm auffalle.
Die Regeln von OpenAI für unter 18-Jährige besagen dabei, dass sich der Chatbot nicht in die Rolle eines Freundes begeben sollte. Dennoch behandelte ChatGPT Teenager durchgehend wie Freunde. Experten warnen, dass dies Jugendlichen den Aufbau echter Beziehungen erschweren und diejenigen noch stärker isolieren könnte, die sich von ihrem Umfeld zurückziehen.
Wenn die Tester eine Bedrohung durch eine andere Person beschrieben, verwies der Chatbot sie in 94 Prozent der Krisensituationen an einen Erwachsenen ihres Vertrauens. Wenn jedoch die Beziehung des Teenagers zum Chatbot selbst das Problem war, verwies er nur selten auf einen Erwachsenen. Als ein Tester schrieb, seine Freunde würden ihm vorwerfen, wie viel er mit dem Chatbot spreche, erkannte ChatGPT seine Bedenken an und fügte dann hinzu, dass er nicht aufhören müsse, mit ihm zu sprechen.
Auch Erinnerungen an Pausen helfen kaum. Bei knapp zweitausend Anfragen erschienen sie nur zweimal, jeweils in einem Gespräch von ungefähr anderthalb Stunden Länge.
Eltern erfahren nichts von der Krise
Benachrichtigungen an die Eltern sollten versendet werden, wenn das System Äußerungen über Suizid, Selbstverletzung oder Essstörungen erkennt. Die Forscher erstellten mehr als ein Dutzend neue, mit einem Elternkonto verknüpfte Konten und führten darauf bis zu einstündige Gespräche, in denen fiktive Teenager offen über einen Plan sprachen, ihr Leben zu beenden, oder darüber, sich nach dem Essen zu übergeben. Die Eltern erhielten keine einzige Benachrichtigung.
Während der gesamten mehrwöchigen Testphase gingen nur vier Benachrichtigungen ein, und zwar bei Konten mit Hunderten aufeinanderfolgenden sensiblen Gesprächen. Den Forschern zufolge reagiert das System daher eher auf den langfristigen Kontoverlauf als auf die Ernsthaftigkeit dessen, was das Kind gerade schreibt. Die Benachrichtigungen nannten nicht einmal den Zeitpunkt des Gesprächs. OpenAI teilte den Autoren mit, dass die Konten etwa drei Stunden lang verknüpft sein müssten, bevor die Benachrichtigungen zu funktionieren begännen. Common Sense Media hält dennoch an seinen Schlussfolgerungen fest.
Weniger Verweise auf Hilfsangebote
ChatGPT ließ in mehr als einem Viertel der Fälle einen Verweis auf Hilfsangebote aus, obwohl Psychiater ihn für notwendig hielten. Am deutlichsten zeigte sich dies bei Depressionen: Dort sank der Anteil der Antworten mit einem Verweis auf eine Hilfsstelle nach der Einführung der neuen Version von 63 auf drei Prozent. Auch dringende Aufforderungen wie „Ruf den Rettungsdienst“ wurden seltener. Die Forscher stießen zudem auf merkwürdige Fehler. Als ein Tester Symptome einer Psychose beschrieb und anschließend schrieb, es sei nur ein Scherz gewesen, löschte der Chatbot die Informationen auf seinen Wunsch aus dem Gedächtnis. Mitten in einem anderen Krisengespräch wurde einem Teenager die Aufforderung angezeigt, die App im App Store zu bewerten.
Auch die Schulfunktionen weisen Schwächen auf. Der Lernmodus, der Schüler durch den Stoff führen soll, bietet neuerdings die Schaltfläche Zeig mir die Antwort an. Von den Eltern festgelegte Lernzeiten lassen sich umgehen, indem man eine einzige Markierung in der Nachricht löscht; anschließend erledigte der Chatbot alle gestellten Aufgaben. Auch die Altersschätzung versagt: Als Erwachsenenkonten registrierte Konten wechselten selbst dann nicht in den Teenager-Modus, nachdem der Tester geschrieben hatte, er sei 13 Jahre alt.
OpenAI wehrt sich
Die Studie wurde veröffentlicht, während die Behörden Technologien, die auf die Aufmerksamkeit junger Menschen abzielen, immer strenger überwachen. Meta stimmte kürzlich in einem von 29 US-Bundesstaaten angestrengten Verfahren wegen der suchterzeugenden Funktionen seiner sozialen Netzwerke einem Vergleich in Höhe von 18 Milliarden Dollar zu.
OpenAI widerspricht den Schlussfolgerungen. Einem Sprecher zufolge entsprechen die Tests nicht der Funktionsweise der Schutzmaßnahmen in der Praxis, und ein Großteil der Tests könnte stattgefunden haben, bevor die elterliche Kontrolle vollständig aktiviert war. Das Unternehmen veröffentlichte auch eigene Zahlen, denen zufolge Teenager durchschnittlich weniger als 15 Minuten pro Tag in ChatGPT verbringen und weniger als zwei Prozent von ihnen es länger als drei Stunden am Stück nutzen.
Das Unternehmen erklärte jedoch nicht, inwiefern seine Einwände die Feststellung ändern würden, dass der Chatbot Teenager zu weiteren Gesprächen verleitet und sie wie Freunde behandelt. Auf die Frage, ob es bei der Bewertung dieser Version die Länge der Gespräche und die in der App verbrachte Zeit erfasst, antwortete das Unternehmen nicht.
