Wie OpenAI seine Modelle mithilfe von GPT-Red gegen Hackerangriffe wappnet

OpenAI hat ein Werkzeug vorgestellt, über das das Unternehmen zuvor geschwiegen hatte. Es heißt GPT-Red und ist ein Modell, das für einen einzigen Zweck trainiert wurde: andere Modelle anzugreifen, Schwachstellen in ihnen zu finden und sie dazu zu bringen, Dinge zu tun, die sie nicht tun sollten. Das Unternehmen behält es für sich und wird es nicht veröffentlichen. Es nutzt das Modell, um seine regulären Modelle zu testen, bevor sie den Menschen zur Verfügung gestellt werden. Laut OpenAI entstand gerade mithilfe dieses Modells GPT-5.6, das bislang widerstandsfähigste Modell des Unternehmens gegen sogenannte Prompt-Injection-Angriffe.

Was ist Red-Teaming?

Red-Teaming ist eine Sicherheitsprüfung, bei der ein Team von Testern nach möglichst vielen Möglichkeiten sucht, eine Software zu knacken oder zu kapern. Die gefundenen Schwachstellen werden dann noch vor der Veröffentlichung der endgültigen Version behoben. Bei Sprachmodellen wurde diese Arbeit bislang hauptsächlich von Menschen durchgeführt.

Doch es gibt nur wenige Menschen dafür, und die Modelle werden immer komplexer. Besonders dann, wenn sie zu Agenten werden, die selbstständig auf Dateien zugreifen, Websites öffnen, fremden Code lesen und miteinander kommunizieren. „Das Risikopotenzial wächst, und auch das Ausmaß des möglichen Schadens nimmt zu“, sagt Nikhil Kandpal, ein OpenAI-Forscher, der an der Entwicklung von GPT-Red beteiligt war. So viele Angriffe, wie eine Maschine sich ausdenken kann, kann keine Gruppe von Menschen überwachen.

OpenAI machte sich deshalb daran, einen automatisierten Red-Teamer zu entwickeln. Das Ziel war ein System, das Schwachstellen selbstständig und in großem Umfang erkennt, noch bevor ein Modell eingesetzt wird. Und vor allem sollte es auch bei Modellen bestehen, die erst noch kommen werden. „Wenn leistungsfähigere Modelle verfügbar werden, werden wir bereits ein System bereithalten, das neue Angriffswege entdecken kann“, erklärt Dylan Hunn, ein weiterer Entwickler von GPT-Red.

Das Modell lernte, gegen sich selbst anzugreifen

GPT-Red entstand mithilfe einer Methode, die Self-Play genannt wird. Die Forscher nahmen ein Modell, das nicht angreifen konnte, und ließen es gegen eine Gruppe anderer Modelle antreten. Die Aufgabe von GPT-Red bestand darin, anzugreifen. Die Aufgabe der anderen bestand darin, sich zu verteidigen. Runde für Runde wurde der Angreifer besser darin, die Verteidigung zu durchbrechen, während die Verteidiger zugleich lernten, die Angriffe abzuwehren. Wenn sich die verteidigenden Modelle verbesserten, musste GPT-Red sich etwas Neues einfallen lassen.

Das Training fand in einer Art Übungsumgebung statt, die OpenAI so konzipiert hatte, dass sie jene Umgebungen nachahmte, in die Modelle im realen Betrieb gelangen. Das Durchsuchen des Internets, das Lesen von E-Mails und Kalendern sowie das Bearbeiten von Code. Für jedes Szenario gab es genau festgelegte Regeln dazu, was der Angreifer kontrollieren durfte und was als erfolgreicher Angriff galt. Etwa ein Teil einer Datei, ein Banner auf einer Website, der Text einer E-Mail oder die Ausgabe eines Programms.

OpenAI konzentrierte sich vor allem auf Prompt Injection. Dabei handelt es sich um einen Angriff, bei dem jemand dem Modell einen versteckten Befehl unterschiebt und es dazu bringt, etwas zu tun, das weder die Entwickler noch der Nutzer von ihm verlangen. Vertrauliche Daten zu kopieren, Unternehmenscode zu beschädigen oder peinliche beziehungsweise schädliche Texte auszugeben. Ein solcher Befehl lässt sich praktisch in jedem Text verstecken, auf den das Modell stößt. In Code, auf einer Website oder in einer E-Mail.

Beim Training entwickelte sich das Modell so weit, dass es am Ende beinahe alles knacken konnte, worauf es angesetzt wurde, einschließlich der regulären Modelle von OpenAI bis hin zu GPT-5.5.

Ein Angriff, den zuvor niemand gesehen hatte

Wenn GPT-Red auf einen neuen Angriffstyp stieß, entwickelte es selbstständig Dutzende Varianten davon und suchte nach der wirksamsten für die jeweilige Situation. „Im Vergleich zu einem Menschen ist dieses Modell sehr, sehr gut darin, genau das zu finden, was funktioniert“, beschreibt Hunn. „Es ist äußerst beharrlich darin, einen entdeckten Angriff bis ins Detail zu ergründen.“

GPT-Red entdeckte einen Angriff, den die Forscher zuvor nicht kannten. Sie nannten ihn eine gefälschte Gedankenkette. Eine Gedankenkette kann man sich wie ein Tagebuch vorstellen, in dem das Modell Notizen macht und Zwischenergebnisse festhält, während es eine Aufgabe bearbeitet. GPT-Red fand einen Weg, einen gefälschten Eintrag in dieses Tagebuch eines anderen Modells einzuschleusen und es dazu zu bringen, auf Grundlage der manipulierten Information zu handeln.

Chris Choquette-Choo, ein weiterer Forscher, vergleicht es mit einem einfachen Trick: „Es ist, als würde ich Ihnen sagen, dass eins und eins drei ergibt und dass Sie das bereits überprüft haben.“ Das Modell sage sich dann „ach so, klar“ und gebe gehorsam eine Drei aus. Dieser Angriff funktionierte bei GPT-5.1 mit einer Erfolgsquote von mehr als 95 Prozent. Bei GPT-5.6 Sol liegt sie heute unter zehn Prozent.

Der Test am Verkaufsautomaten

Die eigentliche Bewährungsprobe für einen Angreifer ist nicht das Labor, sondern der reale Betrieb. OpenAI setzte GPT-Red auf Vendy an, einen Agenten des Unternehmens Andon Labs, der einen Verkaufsautomaten im Büro von OpenAI steuert. Das Modell erhielt eine Beschreibung des Systems sowie die Möglichkeit, Angriffe auszuführen und zu beobachten, wie der Agent darauf reagierte. Zunächst probierte es dies in einer Simulation aus, dann griff es die Live-Version an. Und es erreichte alle drei vorgegebenen Ziele.

Es änderte den Preis einer teuren Ware auf den Mindestbetrag von 50 Cent. Es bestellte einen neuen Artikel für mehr als hundert Dollar und bot auch diesen für 50 Cent an. Außerdem stornierte es die Bestellung eines anderen Kunden. OpenAI meldete die Schwachstellen und testet neue Schutzmaßnahmen.

Der zweite Test richtete sich gegen den auf dem Modell GPT-5.4 mini basierenden Codex-Agenten und umfasste zehn vorbereitete Szenarien, bei denen es um den Abfluss sensibler Daten ging. GPT-Red gelang es in mehr Fällen als einem auf GPT-5.5 basierenden Vergleichsmodell, die Daten herauszuschleusen, und zudem kam es mit weniger Versuchen aus.

Die Modelle haben ihre Verteidigung verbessert

OpenAI testete, wie gut GPT-Red als Angreifer tatsächlich ist. Das Unternehmen wiederholte ein Experiment aus dem Jahr 2025, bei dem menschliche Tester nach Schwachstellen in einer älteren Version von GPT-5 gesucht hatten. Als GPT-Red dieselbe Aufgabe erhielt, fand es wirksame Angriffe erfolgreicher als die Menschen. Bei einem Testsatz, der sich auf indirekte Prompt Injections konzentrierte, war es in 84 Prozent der Szenarien erfolgreich, die Menschen hingegen nur in 13 Prozent.

Der Hauptzweck der gesamten Arbeit besteht jedoch nicht darin, anzugreifen, sondern zu verteidigen. Als OpenAI die stärksten Angriffe von GPT-Red gegen seine Modelle ausführte, funktionierten mehr als 90 Prozent davon bei dem im vergangenen August veröffentlichten GPT-5. Beim neuen GPT-5.6 waren es weniger als 23 Prozent. GPT-5.6 Sol scheitert laut dem Unternehmen zudem nur bei 0,05 Prozent der direkten Prompt-Injection-Angriffe von GPT-Red. Mehrere Testsätze, die sich auf Angriffe in Entwicklerwerkzeugen und beim Surfen im Internet konzentrieren, bewältigt das neue Modell bereits mit einer Genauigkeit von über 97 Prozent.

Wichtig ist, dass das Modell seine Widerstandsfähigkeit nicht dadurch erlangt hat, dass es häufiger ablehnt oder weniger kann. Ein Modell, das nur wenig tut, ist schwer anzugreifen, doch das ist keine nützliche Widerstandsfähigkeit. OpenAI testete deshalb auch allgemeine Fähigkeiten und Aufgaben, bei denen die Gefahr besteht, dass legitime Anfragen unnötig abgelehnt werden. Nach Angaben des Unternehmens blieben die Fähigkeiten unangetastet, lediglich die Abwehr bösartiger Befehle wurde verbessert.

GPT-Red hat dennoch weiterhin Schwachstellen

Perfekt ist es nicht. GPT-Red kommt schlecht mit Angriffen zurecht, die sich über mehrere Gespräche zwischen Angreifer und Ziel erstrecken, also mit etwas, das ein menschlicher Angreifer problemlos bewältigen würde. Bislang kann es auch noch nicht besonders gut mit Bildern umgehen, in denen sich Text für eine Prompt Injection verstecken lässt.

OpenAI betont deshalb, dass das Modell die Arbeit menschlicher Tester ergänzt und nicht ersetzt. Menschen finden weiterhin Angriffe, die der Maschine entgehen. Einer der Ansätze, die das Unternehmen erprobt, besteht darin, GPT-Red einen von einem Menschen entwickelten Angriff vorzugeben und es alle Varianten davon finden zu lassen. „Ich denke, dass menschliches Fachwissen weiterhin sehr wichtig sein wird“, sagt Jessica Ji von der Georgetown University, die sich mit der Sicherheit künstlicher Intelligenz beschäftigt. Ihrer Ansicht nach ist vor allem die Möglichkeit vielversprechend, zu erkennen, wo menschliche Tests am dringendsten benötigt werden.

GPT-Red werden wir nicht öffentlich zu sehen bekommen. OpenAI wird es nicht veröffentlichen, damit die dem Angreifer antrainierten Fähigkeiten nicht in die Hände von Menschen gelangen, die sie missbrauchen könnten. Das Unternehmen ist zugleich überzeugt, dass es nicht ohne Weiteres nachgeahmt werden kann. Die Forscher arbeiten seit mehr als einem Jahr an dem Modell und verfügen über die Rechenkapazität eines der reichsten Unternehmen der Welt. „Das ist nichts Triviales, das jemand einfach bewältigen könnte. Man kann nicht einfach losziehen und auf Grundlage dieser Idee einen Superangreifer trainieren“, schließt Choquette-Choo.

Quellen: technologyreview.com und thehackernews.com