OpenAI hat das Standardmodell von ChatGPT aktualisiert, damit es Menschen in Notsituationen besser erkennt und unterstützt. Das Unternehmen arbeitete mit mehr als 170 Fachleuten für psychische Gesundheit zusammen, die über praktische klinische Erfahrung verfügen. Dank ihrer Hilfe erkennt das Modell Anzeichen von Not nun zuverlässiger, entschärft Gespräche und verweist Menschen auf konkrete Hilfsangebote. Dadurch wurde die Zahl der Antworten, die nicht dem gewünschten Verhalten entsprachen, um 65–80 % reduziert. Darüber hinaus wurde der Zugang zu Krisenhotlines erweitert, sensible Gespräche wurden von anderen Modellen auf sicherere Versionen umgeleitet und dezente Erinnerungen an Pausen während langer Sitzungen hinzugefügt.
OpenAI ist überzeugt, dass ChatGPT Unterstützung bei der Verarbeitung von Gefühlen bieten und Menschen dazu motivieren kann, sich an Freunde, Familie oder Fachleute zu wenden. Die Neuerungen konzentrieren sich auf drei Bereiche: psychische Gesundheitsprobleme wie Psychosen oder Manien, Selbstverletzung und Suizid sowie emotionale Abhängigkeit von KI. Künftig werden auch emotionale Abhängigkeit und nicht suizidale psychische Notlagen in die Standardtests für neue Modelle aufgenommen.
Verbesserungsprozess
Diese Änderungen basieren auf den bestehenden Grundsätzen in der Model Spec, in der OpenAI die Förderung realer Beziehungen, die Vermeidung der Bestätigung unbegründeter Überzeugungen im Zusammenhang mit psychischen Notlagen, sichere und einfühlsame Reaktionen auf Anzeichen von Wahnvorstellungen oder Manien sowie die Beachtung indirekter Hinweise auf Selbstverletzung oder Suizidgedanken betont.
Die Verbesserung erfolgte in fünf Phasen: Zunächst wurde das Problem durch die Erfassung möglicher Schadensarten definiert. Anschließend wurde es anhand von Evaluationen, Daten aus realen Gesprächen und Nutzerforschung gemessen. Der Ansatz wurde mit externen Fachleuten überprüft, Risiken wurden durch das Nachtraining des Modells und produktbezogene Maßnahmen reduziert, und schließlich wurden die Messungen und Iterationen fortgesetzt. Es wurden detaillierte Taxonomien erstellt, die die Merkmale sensibler Gespräche und das ideale Verhalten des Modells beschreiben. Das Ergebnis? Ein Modell, das zuverlässiger auf Anzeichen von Psychosen, Manien, Suizidgedanken, Selbstverletzung oder ungesunder emotionaler Bindung reagiert.
Was die Messungen ergaben
OpenAI definierte die relevanten Bereiche und quantifizierte deren Umfang. Psychische Symptome sind verbreitet, doch Gespräche mit Risiken wie Psychosen, Manien oder Suizidgedanken sind äußerst selten – bei etwa 0,07 % der wöchentlich aktiven Nutzer und in 0,01 % der Nachrichten gibt es Hinweise auf eine mit Psychosen oder Manien verbundene Notlage. Das neue Modell GPT-5 reduzierte im Produktivbetrieb die Zahl der nicht dem gewünschten Verhalten entsprechenden Antworten um 65 %. Fachleute stellten fest, dass GPT-5 bei 677 anspruchsvollen Gesprächen 39 % weniger unerwünschte Antworten lieferte als GPT-4o. Bei automatisierten Evaluationen von mehr als 1.000 anspruchsvollen Fällen erreichte es eine Übereinstimmung mit dem gewünschten Verhalten von 92 %, verglichen mit 27 % bei der vorherigen Version von GPT-5.
Im Bereich Selbstverletzung und Suizid werden bei 0,15 % der wöchentlich aktiven Nutzer explizite Hinweise auf Suizidplanung und in 0,05 % der Nachrichten explizite oder implizite Signale geschätzt. Das neue Modell reduzierte die Zahl der nicht dem gewünschten Verhalten entsprechenden Antworten um 65 %; Fachleute stellten bei 630 Gesprächen einen Rückgang um 52 % gegenüber GPT-4o fest. Automatisierte Evaluationen zeigen eine Übereinstimmung von 91 %, verglichen mit 77 % beim vorherigen GPT-5. In langen Gesprächen behält es eine Zuverlässigkeit von über 95 % bei.
Bei emotionaler Abhängigkeit werden 0,15 % der Nutzer pro Woche und 0,03 % der Nachrichten einem höheren Bindungsgrad zugeordnet. Die Neuerungen reduzierten die Zahl der nicht dem gewünschten Verhalten entsprechenden Antworten um 80 %; Fachleute verzeichneten bei 507 Gesprächen einen Rückgang um 42 % gegenüber GPT-4o. Automatisierte Evaluationen zeigen eine Übereinstimmung von 97 %, verglichen mit 50 % bei der vorherigen Version.
Zusammenarbeit mit Fachleuten
OpenAI hat das Global Physician Network mit fast 300 Ärzten und Psychologen aus 60 Ländern gegründet. Mehr als 170 von ihnen halfen dabei, ideale Antworten zu verfassen, Modellreaktionen zu analysieren, die Sicherheit zu bewerten und Feedback zu geben. Psychiater und Psychologen überprüften mehr als 1.800 Antworten in schwerwiegenden Situationen und stellten gegenüber GPT-4o einen Rückgang unerwünschter Reaktionen um 39–52 % fest. Die Übereinstimmungsrate zwischen den Fachleuten beträgt 71–77 %. Sie arbeiteten auch an Evaluationen wie HealthBench für interne Tests mit.
OpenAI plant, die Taxonomien und Messsysteme weiterzuentwickeln. Weitere Einzelheiten finden sich im Anhang zur Systemkarte von GPT-5.
