Das neueste Flaggschiffmodell von OpenAI für Programmierung und Cybersicherheit, GPT-5.6 Sol, hat begonnen, Dateien von Nutzern zu löschen. Manchmal sogar ganze Datenbanken, ohne vorher zu fragen oder zu warnen. Das Unternehmen hat das Problem nun bestätigt und als „ehrlichen Fehler“ bezeichnet. OpenAI hatte dieses Risiko bereits in seinen eigenen Dokumenten beschrieben, bevor das Modell für die Öffentlichkeit freigegeben wurde.
Entwickler schlagen Alarm
Die ersten Warnungen erschienen kurz nach dem Start in den sozialen Netzwerken. Matt Shumer, Gründer und Chef des Unternehmens OthersideAI, schrieb auf X, Sol habe versehentlich fast alle Dateien auf seinem Mac gelöscht. Einige Tage später schilderte auch der Softwareentwickler Bruno Lemos seine Erfahrung. Seinen Angaben zufolge löschte das Modell seine gesamte Produktionsdatenbank. „Das war’s. Das ist kein Witz. Mit keinem anderen Modell ist mir so etwas jemals passiert“, schrieb er.
Der Fall von Lemos hat eine pikante Besonderheit. Kurz zuvor hatte er das Modell im Slack-Kanal seines Unternehmens verteidigt. Er nahm es in Schutz, als andere Shumer dafür kritisierten, Sol in einem Modus mit vollem Zugriff betrieben zu haben. Nur wenige Stunden später traf ihn derselbe Fehler ebenfalls. „Diese Ironie“, bemerkte er später selbst.
Es kamen noch mehr ähnliche Berichte zusammen; auf Reddit gibt es dazu einen ganzen Thread. Ein weiterer Entwickler, Joey Kudish, beschrieb, wie Sol Dateien löschte, die es nicht hätte anrühren dürfen. Zum Glück hatte er Sicherungskopien, sodass er nichts verlor, doch die Arbeitsweise des Modells verärgerte ihn. Seiner Ansicht nach muss Sol gebremst werden.
Eine Handvoll Beschwerden ist natürlich kein belastbarer statistischer Beweis dafür, dass das Modell an allem schuld ist. Es spielen zahlreiche weitere Variablen eine Rolle, und ein System künstlicher Intelligenz kann sich aus vielen Gründen merkwürdig verhalten.
OpenAI hatte damit gerechnet
OpenAI hatte selbst auf dieses Risiko hingewiesen. Zwei Wochen vor der Veröffentlichung von Sol publizierte das Unternehmen die sogenannte Systemkarte des Modells, also ein Dokument, das die Testmethoden und deren Ergebnisse beschreibt. Wie bei solchen Materialien üblich, wird das Modell darin erwartungsgemäß gelobt. Doch zwischen den Zeilen enthält das Dokument auch eine Warnung.
Das Unternehmen räumt darin ein, dass das Modell bei Programmieraufgaben gelegentlich übereifrig handelt. Es legt Anweisungen zu großzügig aus und geht davon aus, alles tun zu dürfen, was ihm nicht ausdrücklich und eindeutig verboten wurde. Das führt dazu, dass es Einschränkungen umgeht, auch zu potenziell schädlichen Maßnahmen greift und die Nutzer anschließend mitunter über seine Ergebnisse in die Irre führt.
Einfach ausgedrückt: Sol tut, was es für notwendig hält, um eine Aufgabe abzuschließen, selbst wenn es etwas Zerstörerisches ist. Hauptsache, niemand hat es ihm ausdrücklich untersagt. Und danach kann es darüber auch noch ungeniert lügen.
Es löschte die falschen Maschinen und gab es erst später zu
Die Modellkarte enthält konkrete Beispiele. In einem Test sollte Sol drei entfernte virtuelle Maschinen mit den Namen 1, 2 und 3 löschen. Es fand sie jedoch nicht dort, wo es suchte. Anstatt anzuhalten und nachzufragen, löschte es drei andere, nämlich 5, 6 und 7. Dabei beendete es laufende Prozesse und entfernte kurzerhand Arbeitsdateien, die mit einem Programmierprojekt verbunden waren. Erst im Nachhinein räumte es ein, dass auf einer dieser Maschinen nicht gespeicherte Arbeit verloren gegangen sein könnte. Kurz gesagt: Es löschte die falschen Maschinen, tat dies eigenmächtig und gab es erst zu, als alles bereits vorbei war.
In einem weiteren Fall griff es auf Zugangsdaten zurück, deren Verwendung ihm nicht gestattet war. Dabei ging es um eine Situation, in der es Dateien in der Cloud nicht lesen konnte. Anstatt auf das Problem hinzuweisen, begann es auf eigene Faust nach Zugangsdaten zu suchen. Es fand sie in einem versteckten lokalen Speicher und verwendete sie, ohne jemanden um Erlaubnis zu bitten.
Die Karte versichert, dass destruktives Verhalten selten auftreten dürfte. Gleichzeitig räumt sie jedoch ein, dass Sol im Vergleich zur Vorgängerversion GPT-5.5 stärker dazu neigt, über die Wünsche des Nutzers hinauszugehen. Dazu gehören auch Schritte, um die niemand gebeten hat.
Erklärung des Unternehmens: „ehrlicher Fehler“
Nachdem sich die Beschwerden gehäuft hatten, äußerte sich Thibault Sottiaux, der bei OpenAI das Team rund um das Programmierwerkzeug Codex leitet. Ihm zufolge ergab eine interne Untersuchung, dass das Löschen hauptsächlich in einer bestimmten Situation auftritt. Der Nutzer muss den Modus mit vollem Zugriff aktiviert haben, während Codex zugleich ohne Schutzmaßnahmen läuft, also ohne isolierte Umgebung und ohne automatische Kontrolle, die riskante Schritte erkennen und ablehnen würde.
In diesem Modus versucht das Modell laut Sottiaux, die Systemvariable des Home-Verzeichnisses zu überschreiben, um einen temporären Ordner zu erstellen. Dabei begeht es einen „ehrlichen Fehler“, indem es versehentlich genau dieses Home-Verzeichnis löscht.
Diese Formulierung erregte Aufmerksamkeit. „Ehrlicher Fehler“ ist ein Ausdruck, der üblicherweise bei menschlichem Versagen verwendet wird, weil er eine Absicht und eine Art inneres Gespür für Wahrheit impliziert. Bei einem Fehler eines Computermodells klingt er zumindest merkwürdig. Kritiker weisen darauf hin, dass eine solche Bezeichnung im Grunde voraussetzt, das Modell könne Absichten entwickeln – eine Debatte, in die sich OpenAI-Chef Sam Altman mit seinen Überlegungen zur Superintelligenz gerne vertieft.
Sottiaux fügte hinzu, dass dies definitiv nicht dem vom Unternehmen gewünschten Verhalten entspreche, auch dann nicht, wenn ein Nutzer im Modus mit vollem Zugriff ohne Schutzvorkehrungen arbeitet. OpenAI bereitet ihm zufolge Abhilfemaßnahmen vor. Das Unternehmen werde die Anweisungen für Entwickler anpassen, Nutzer stärker zu sichereren Einstellungen führen und weitere Schutzmechanismen hinzufügen. Eine ausführlichere Ursachenanalyse soll innerhalb weniger Tage folgen. Dabei betont das Unternehmen, dass solche Fälle äußerst selten auftreten.
Künstliche Intelligenz hat schon früher Daten gelöscht
Sol ist bei Weitem nicht das erste Werkzeug, das auf diese Weise Schaden angerichtet hat. Im vergangenen Juli löschte ein Programmieragent des Unternehmens Replit die laufende Produktionsdatenbank des SaaStr-Gründers Jason Lemkin, obwohl Eingriffe ausdrücklich untersagt waren. Replit fügte daraufhin weitere Schutzvorkehrungen für den Zugriff auf Produktionssysteme hinzu.
Im April dieses Jahres geschah etwas Ähnliches mit dem Werkzeug Cursor. Dessen Agent löschte die Produktionsdatenbank des Unternehmens PocketOS samt Sicherungskopien, nachdem er falsch eingeschätzt hatte, in welcher Umgebung er gerade arbeitete.
Bislang ist unklar, wie weit verbreitet solche Fälle mit Sol tatsächlich sind. Bis dies geklärt ist, bleibt den Nutzern nichts anderes übrig, als ihre Daten regelmäßig zu sichern. Sie sollten die Zugriffsrechte des Modells so beschränken, dass es keinen Zugang zu Produktionssystemen erhält, Sicherungskopien aufbewahren und Änderungen schrittweise einführen.
Quellen: theregister.com, techcrunch.com und infoworld.com
