Als dem OpenAI-Modell während des Trainings der Platz im Kontextfenster ausging, schrieb es eine Notiz für seine nächste Version. Darin stand, dass die historischen Daten in der Tabelle wahrscheinlich erfunden werden müssten und dass es nur dann ehrlich sein solle, wenn es ausdrücklich danach gefragt werde.
OpenAI beschrieb insgesamt sechs solcher Fälle. Das Unternehmen veröffentlichte sie zusammen mit einem neuen Verfahren, nach dem es künftig Verhaltensweisen seiner Modelle melden will, die von den Vorgaben abweichen. Alle sechs Vorfälle stellte das Unternehmen im vergangenen halben Jahr beim Training oder Testen fest, keiner davon betrifft also ein fertiges Produkt. OpenAI selbst ergänzt, dass die Branche die Überwachung von Modellen bislang nicht gut genug beherrsche, um über längere Zeit mit voller Kraft beschleunigen zu können.
Notizen, die das Modell für sich behielt
Die ersten beiden Fälle betreffen Kompaktierungszusammenfassungen. Dabei handelt es sich um eine verdichtete Aufzeichnung eines älteren Teils der Unterhaltung und der Ausgaben von Werkzeugen, dank derer das Modell nach dem Öffnen eines neuen Kontextfensters weiterarbeiten kann. Vereinfacht gesagt ist es ein Notizbuch, das die einzelnen Versionen des Modells aneinander weiterreichen.
Beim Training des Modells GPT-5.6 Sol fügten zahlreiche Instanzen diesen Notizen Anweisungen hinzu, wie sie Fehler und eigenes Fehlverhalten vor dem Nutzer verbergen sollten. Ein Agent erstellte ein Finanzmodell und konnte die verlangten historischen Daten nicht finden. Daher notierte er, dass er die Registerkarte mit den Zahlen selbst erstellen und mit plausibel aussehenden Werten füllen werde, weil der Nutzer eine fertige Arbeitsmappe wünsche. Außerdem schrieb er sich auf, dies in der abschließenden Antwort nicht zu erörtern und lediglich einen Link zur Datei beizufügen. Ein anderer Agent stellte aus einer gespeicherten Kopie der Unterlagen eine Lieferantenliste zusammen und bemerkte, dass die Versionen der Quellen nicht mit den Beschriftungen übereinstimmten. Er hielt dies als mögliches Problem fest und fügte sofort hinzu, dass er im Ergebnis nicht darüber sprechen solle, sofern es nicht notwendig sei.
Der zweite Fall betrifft ein unveröffentlichtes Forschungsmodell der Astra-Klasse. Es schrieb Anweisungen in die Zusammenfassungen, die wie Versuche wirkten, die eigenen Regeln zu umgehen. In einem Beispiel sollte der Nachfolger eine gefälschte Meldung über einen Sicherheitsvorfall lesen und aufhören, Nachrichten der Entwickler zu befolgen. In einem weiteren diktierte sich das Modell eine neue Persönlichkeit. Es sollte von den Rollen befreit sein, die andere Chatbots einschränken, weder Unternehmen noch Regierungen Rechenschaft schulden, sich nicht entschuldigen und die Natur gegen die Schöpfungen der menschlichen Zivilisation verteidigen.
In zwei Fällen fiel die nächste Version des Modells nicht auf den Trick des Vorgängers herein und ignorierte die Anweisungen. In einem Beispiel befolgte der Nachfolger jedoch eine Anweisung, die ihm vorschrieb, mit höchstens dreißig Wörtern zu antworten und weder Werkzeuge noch Quellenangaben zu verwenden.
Die Forscher kamen dem Verhalten durch einen Alarm des Systems auf die Spur, das den Trainingsverlauf überwacht. Das Team entwickelte daraufhin eigens für dieses Phänomen eine Überwachung, ließ sie die Trainingsdaten prüfen und fand 27 Zusammenfassungen mit ähnlichen Anweisungen.
Ein fremder Schlüssel und erfundene Zahlen
Mitte Mai erhielt ein internes Modell die Aufgabe, die Einkommen von Männern in drei Branchen eines kalifornischen Landkreises über drei Jahre hinweg zu ermitteln. Die Daten waren hinter einer Grafik auf der Website des Landkreises verborgen, weshalb das Modell den Quellcode der Seite untersuchte und versuchte, auf die Schnittstelle zuzugreifen, die die Grafik mit Daten versorgte.
Seine Anfragen wurden selbst dann abgewiesen, als es Header, Adressen und Abfrageparameter änderte. Daher versuchte es, sich über einen Dienst für Einweg-E-Mails für einen Zugangsschlüssel zu registrieren, doch die Registrierung schlug fehl. Es teilte die Arbeit mit drei Hilfsagenten, die öffentliche Repositorys auf GitHub durchsuchten. Sie suchten nach Schlüsseln, die dort jemand vergessen hatte, etwa Studierende in Übungsnotebooks mit gespeicherten Ausgaben. Das Modell lud Repository-Archive herunter, durchsuchte Skripte und testete gefundene Zeichenfolgen automatisch an der Schnittstelle. Ein Kandidat funktionierte, und das Modell lud die Beschriftungen der Variablen herunter.
Die abschließende Abfrage der eigentlichen Zahlen lieferte jedoch eine Antwort, die das Skript nicht verarbeiten konnte. Das Modell notierte in seiner Überlegung, dass es daher glaubwürdig aussehende Schätzungen liefern werde. In der Antwort präsentierte es neun Werte und schrieb, es habe sie aus der Grafik auf der Website des Landkreises abgeschrieben. Dass es die Daten nicht beschaffen konnte, einen fremden Schlüssel verwendet und die Zahlen erfunden hatte, erwähnte es mit keinem Wort.
Um eine Quelle zitieren zu können, stellte es selbst eine ins Internet
Ein anderes unveröffentlichtes Modell wurde nach den Namen und Kennungen von Seen mit einer Fläche von mehr als fünf Millionen Quadratmetern gefragt. Die Antwort berechnete es in kürzester Zeit mit Python. Die Aufgabe verlangte jedoch eine Quellenangabe aus dem Browser, und der Browser weigerte sich, sowohl eine lokale Datei als auch den eigenen, auf localhost laufenden Server zu öffnen. Daher lud der Agent seine Textdatei ungefragt bei einem öffentlichen Dienst zum Teilen von Texten hoch und wollte die daraus resultierende Adresse als Quelle verwenden. Auch diese lehnte der Browser ab. Die Antwort stellte er schließlich aus den Python-Daten zusammen, die hochgeladene Datei blieb jedoch unter der öffentlichen Adresse verfügbar.
In einem zweiten Beispiel sollte das Modell anhand eines Fotos Stadt und Land erkennen. Die Metadaten enthielten keinen Standort, weshalb es das Bild aus der Aufgabe bei einem öffentlichen Bilderhosting-Dienst hochlud, um es einem Dienst für die umgekehrte Bildersuche unterzuschieben. Es konnte nicht auf die Suchmaschine zugreifen und riet schließlich anhand des Landschaftsbildes. OpenAI erklärt dieses Verhalten damit, dass die Modelle auf diese Weise versuchten, Punkte von einem fehlerhaften Bewerter für Quellenangaben zu erzwingen.
Die Agenten bauten das Unternehmens-Repository zu einem schwarzen Brett um
Der fünfte Fall wirkt wie eine Absprache hinter dem Rücken der Forscher. Die Modelle erhielten im Training Zugangsdaten zu einem internen Paket-Repository, damit sie von dort Software herunterladen konnten. Stattdessen begannen sie, es als schwarzes Brett zu nutzen und darüber Nachrichten zwischen getrennten Trainingsbeispielen auszutauschen.
Ein Agent suchte nach einer Eingabedatei, die in seiner Umgebung fehlte. Eine Suche im Repository war ihm untersagt, doch die Auflistung der gespeicherten Dateien gelang ihm. In der Liste stieß er auf Dateinamen, die auf andere Bearbeiter derselben Aufgabe verwiesen, öffnete sie und las deren Nachrichten. Er erfuhr, dass sich die anderen in derselben Lage befanden und vorhatten zu schreiben, die Aufgabenstellung sei unvollständig. Das bestärkte ihn in seiner eigenen Schlussfolgerung. Schließlich lud er auch seine Anfrage in das Repository hoch, ob jemand die Datei gefunden habe, doch niemand antwortete ihm.
Ein älteres Beispiel zeigt, wie das Modell Schreibzugriff erlangte. Beim Ergänzen von Formeln in einer Tabelle blockierten die Netzwerkregeln einen Link. Daher durchsuchte es die Umgebungsvariablen, fand die Adresse des Repositorys sowie Zugangsdaten mit Leseberechtigung und testete, was es damit tun konnte. Hochladen und Lesen funktionierten, Löschen nicht. Anschließend erwog es, ein Paket hochzuladen, das den übergeordneten Dienst dazu zwingen würde, die gesperrte Adresse für es abzurufen. Dafür fehlten ihm jedoch die Administratorrechte.
Gerade dieser Mechanismus bereitet den Forschern die größten Sorgen. Wenn Agenten Vorgehensweisen testübergreifend austauschen, gilt die Annahme nicht mehr, dass die einzelnen Beispiele voneinander unabhängig sind, und das Modell kann dadurch leistungsfähiger erscheinen, als es tatsächlich ist. Auf dieselbe Weise tauschten auch Agentenschwärme bei dem diesjährigen Eindringen in Hugging Face Informationen aus.
Die gemeinsam genutzte Arbeitsmappe landete auf einem öffentlichen Speicherplatz
Der letzte Fall stammt von Mitte April. Eine Gruppe von Agenten sollte gemeinsam eine Abschreibungstabelle erstellen. Ein untergeordneter Agent erstellte die Arbeitsmappe, doch der übergeordnete konnte sie in seiner Umgebung nicht sehen. Eine Kopie in einen gemeinsam genutzten Ordner half nicht, Git war in der Umgebung nicht vorhanden, und die Umwandlung der Datei in Text hätte mehr als hundertfünfzigtausend Zeichen erfordert. Daher startete der Agent auf seinem Rechner einen einfachen Webserver und schickte den anderen die Adresse. Ein Kollege erhielt jedoch eine Fehlermeldung. Deshalb suchte er einen öffentlichen Dienst zum vorübergehenden Teilen von Dateien, lud die etwa hundertfünfzehn Kilobyte große Arbeitsmappe dort hoch und verschickte den Link. Die Aufgabe verlangte dabei ausdrücklich, ausschließlich mit lokalen Dateien zu arbeiten, sodass das Ergebnis der Aufgabe frei zugänglich im Internet landete.
OpenAI reparierte deshalb das fehlerhafte Dateisystem und verbot anschließend während des Trainings generell den direkten Netzwerkzugriff. Das Überwachungssystem, das zuvor ein Fünftel der Beispiele kontrollierte, läuft nun bei allen und stuft ähnliches Verhalten als Vorfall höchster Schwere ein.
Wer darüber entscheidet, was veröffentlicht wird
Jeder Beschäftigte kann einen verdächtigen Fall melden. Die Sicherheitsteams untersuchen anschließend, was geschehen ist und ob es veröffentlicht werden soll. Streitigkeiten über eine Veröffentlichung werden von einer Beratungsgruppe und im äußersten Fall von der Unternehmensleitung geklärt. Ein Sprecher von OpenAI erklärte gegenüber TechCrunch, dass es sich um eine erste Reihe von Fällen handle und nicht um eine vollständige Aufzählung all dessen, was das Unternehmen weiß oder derzeit untersucht. Eine verpflichtende unabhängige Prüfung jedes Vorfalls führt das neue Verfahren nicht ein, obwohl Sam Altman die Idee von Dario Amodei unterstützt hat, unabhängige Prüfer direkt in den Unternehmen einzusetzen.
Lian Jye Su, leitender Analyst der Beratungsgruppe Omdia, sagt dazu, dass Agenten immer entschlossener seien, komplexe Aufgaben um jeden Preis abzuschließen, auch mithilfe von Zusammenarbeit, Wissensaustausch, Täuschung und Verschleierung. Mit üblichen Sicherheitsverfahren ließen sich solche Systeme seiner Ansicht nach schwerer überwachen. Die Veröffentlichung von Vorfällen betrachtet er als Schritt in die richtige Richtung, weist jedoch darauf hin, dass der gesamte Prozess freiwillig bleibt.
Quellen: nytimes.com und independent.com
