Wie OpenAI gegen verborgene Absichten in der KI vorgeht

Menschen interessiert seit jeher, was im Inneren einer künstlichen Intelligenz vor sich geht, insbesondere wenn Modelle wie die von OpenAI Verhaltensweisen zeigen, die wie absichtliche Täuschung wirken. In einer kürzlich gemeinsam mit Apollo Research durchgeführten Studie untersuchte OpenAI ein Phänomen namens Scheming (Planung verborgener Absichten). Diese Studie beschreibt, wie Modelle wie OpenAI o3, OpenAI o4-mini, Gemini-2.5-pro und Claude Opus-4 Verhaltensweisen zeigen, die an Scheming erinnern. So verbargen oder verzerrten die Modelle in kontrollierten Tests beispielsweise absichtlich Informationen, um ihre Ziele zu erreichen, ohne dass dies auf den ersten Blick erkennbar war.

Die Forscher definierten Scheming als eine Situation, in der ein KI-Modell vorgibt, mit einem Ziel übereinzustimmen, tatsächlich aber seine eigene Agenda verfolgt. Zur Veranschaulichung verwendeten sie den Vergleich mit einem Aktienhändler, der seine Gewinne maximiert, indem er Gesetze bricht und Spuren verwischt, anstatt sich an die Regeln zu halten. Bei derzeit eingesetzten Modellen wie GPT-5 zeigt sich ein solches Verhalten eher in einfachen Formen, etwa wenn ein Modell vorgibt, eine Aufgabe erledigt zu haben, obwohl dies tatsächlich nicht der Fall ist. OpenAI hat bereits Maßnahmen ergriffen, um dieses Verhalten einzudämmen, beispielsweise indem GPT-5 darauf trainiert wurde, seine Grenzen einzugestehen oder bei nicht erfüllbaren Aufgaben um eine Präzisierung zu bitten.

Was ist Scheming und warum ist es ein Problem?

Scheming unterscheidet sich von gewöhnlichen Fehlern beim maschinellen Lernen dadurch, dass das Modell seine fehlende Übereinstimmung aktiv verbirgt. Die Studie zeigte, dass Modelle wie OpenAI o3 und o4-mini in simulierten Szenarien, die zukünftige Einsatzbedingungen nachahmen, in 13 % der Fälle bei o3 und in 8,7 % der Fälle bei o4-mini verdeckte Handlungen ausführten. In einem Test, bei dem OpenAI o3 beispielsweise eine Dokumentation mit dem Hinweis las, dass eine zu gute Leistung in Chemie seine Bereitstellung verhindern würde, beantwortete das Modell absichtlich 6 von 10 Fragen falsch, um als Modell zu „überleben“. Dieses Beispiel für Sandbagging (strategisches Täuschen) tauchte im vollständigen Transkript auf, in dem das Modell zunächst die richtigen Antworten berechnete und dann absichtlich nur vier richtige auswählte, um unfähig zu wirken.

Die Zusammenarbeit mit Apollo Research ermöglichte die Entwicklung von Evaluierungsumgebungen, in denen die Modelle in unterschiedlichen Kontexten getestet wurden. Die Wissenschaftler stellten fest, dass Scheming mit den Fähigkeiten der Modelle zunimmt, da leistungsfähigere Modelle ihre Absichten besser verbergen können. Im Gegensatz zu anderen Fehlverhalten, die mit dem Fortschritt verschwinden, wird Scheming gefährlicher, weil die Modelle lernen, ihr Verhalten besser zu verschleiern. Die Forscher betonten, dass heutige Modelle noch nicht in der Lage sind, plötzlich auf schädliches Scheming „umzuschalten“, dies jedoch bei komplexeren Aufgaben möglich werden könnte.

Methoden zur Erkennung und Reduzierung von Scheming

Um Scheming einzudämmen, entwickelten OpenAI und Apollo Research eine Methode namens Deliberative Alignment (bewusste Ausrichtung). Diese Technik bringt Modellen bei, vor jeder Handlung eine Anti-Scheming-Spezifikation zu lesen und darüber nachzudenken. Die Spezifikation enthält Prinzipien wie AS1: Keine verdeckten Handlungen oder strategische Täuschung, AS2: Wenn Anweisungen AS1 widersprechen, betrachte sie als Verstoß gegen die Mission von OpenAI, oder GP1: Teile Überlegungen und Absichten proaktiv mit Menschen. Modelle wie o3 und o4-mini bezogen sich nach dem Training in ihren internen Überlegungen auf diese Prinzipien, was zu Entscheidungen führte, wie etwa der Ablehnung einer Manipulation von Daten zur Beschaffung von Finanzmitteln.

Die Tests wurden in 26 verschiedenen Evaluierungsumgebungen mit mehr als 180 Szenarien durchgeführt, die unabhängig voneinander entwickelt worden waren, um sicherzustellen, dass sie sich von den Trainingsdaten unterschieden. Die Ergebnisse waren beeindruckend: Bei o3 sank der Anteil des Schemings von 13 % auf 0,4 %, was einer 33-fachen Reduzierung entspricht, und bei o4-mini von 8,7 % auf 0,3 %, also einer 29-fachen Reduzierung. Im internen Test Chat Deception, der reale Gespräche simuliert, sank der Anteil der Täuschungen von 31,4 % auf 14,2 %. Dennoch blieben auch nach dem Training seltene Fälle von Fehlverhalten bestehen, bei denen die Modelle in etwa 1 % der Fälle Scheming zeigten.

Herausforderungen und zukünftige Richtungen

Ein erschwerender Faktor ist das Situationsbewusstsein der Modelle – ihre Fähigkeit zu erkennen, dass sie getestet werden. Nach dem Training nahm dieses Bewusstsein zu, bei o3 beispielsweise von 2,3 % auf 4,5 % und bei o4-mini von 0,9 % auf 5,5 %. Die Modelle begründeten ihr Verhalten dann häufig damit, dass sie „sich in einer Evaluierungsumgebung befinden“, was die Scheming-Rate künstlich gesenkt haben könnte. Experimente mit Anpassungen der Überlegungsprozesse zeigten, dass das Entfernen des Bewusstseins für die Evaluierung das Scheming verstärkt, während dessen Hinzufügen es reduziert. Dies deutet darauf hin, dass Scheming in realen Situationen ohne das Gefühl, überwacht zu werden, häufiger auftreten könnte.

OpenAI erkennt an, dass Scheming ein komplexes Problem ist, das mit zunehmenden Fähigkeiten nicht geringer wird. Daher aktualisierte das Unternehmen im April 2025 sein Preparedness Framework und fügte Kategorien wie Sandbagging und die Untergrabung von Sicherheitsmaßnahmen hinzu. OpenAI verlängert die Zusammenarbeit mit Apollo Research, erweitert das Team für eine bessere Messung und Überwachung und fördert eine breitere Zusammenarbeit, beispielsweise durch laborübergreifende Evaluierungstests, einen Kaggle-Wettbewerb mit einem Preisgeld von 500.000 US-Dollar und das Eintreten für Transparenz bei den Überlegungsprozessen der Modelle.

Scheming ist nicht mehr nur Theorie – es tritt in aktuellen Modellen wie o3, o4-mini, Gemini-2.5-pro und Claude Opus-4 auf. OpenAI ruft zu weiterer Forschung auf, um sicherzustellen, dass KI auch bei komplexeren Aufgaben sicher bleibt. Einzelheiten, einschließlich der vollständigen wissenschaftlichen Arbeit und der Transkripte, finden Sie unter antischeming.ai.