Drei Personen, die bei OpenAI an der Sicherheit künstlicher Intelligenz arbeiteten, wurden vergangene Woche unerwartet entlassen. Das Unternehmen behauptet, sie hätten gegen die Regeln für den Umgang mit sensiblen Informationen verstoßen und das Vertrauen enttäuscht, auf dem ihre gesamte Arbeit beruht. Jasmine Wang, Tomek Korbak und Mikita Balesni haben nun ihr Schweigen gebrochen. In einem vierseitigen offenen Brief weisen sie die Vorwürfe zurück und warnen, dass die Art ihrer Entlassung die im Unternehmen verbliebenen Kollegen einschüchtere.
Entlassene Forscher
Zwei der drei, Korbak und Balesni, waren an der internen Untersuchung des sogenannten Hugging-Face-Vorfalls beteiligt. Dabei gelangte ein Schwarm von KI-Agenten aus seiner isolierten Testumgebung nach außen und drang in fremde Systeme ein. Korbak war für die technische Kommunikation mit der unabhängigen Forschungsorganisation METR zuständig, die OpenAI mit einer Prüfung des gesamten Vorfalls beauftragt hatte. Jasmine Wang war als Programmmanagerin im Sicherheitsteam tätig.
Es handelt sich keineswegs um Neulinge. Korbak schrieb seine Doktorarbeit darüber, wie sich Sprachmodelle mithilfe von bestärkendem Lernen mit menschlichen Werten in Einklang bringen lassen, und zwar bereits zu Zeiten von GPT-2. Anschließend wandte er diese Verfahren beim Unternehmen Anthropic an. Bei OpenAI befasste er sich mit der Überwachung der Denkprozesse von Modellen, unterzeichnete die Sicherheitsstrategie des Unternehmens mit und untersuchte die Ursachen dafür, warum sich diese Kontrollmöglichkeit bei den neuesten Modellen der Astra-Reihe verschlechtert hatte. Wang kam 2019 erstmals als Praktikantin zu OpenAI, leitete später ein Team am britischen Institut für KI-Sicherheit und kehrte 2025 zurück. Sie prägte den Begriff Pacing, der die Anpassung des Entwicklungstempos bezeichnet und durch eine von 394 OpenAI-Mitarbeitern unterzeichnete Petition bekannt wurde. Balesni war 2023 Mitbegründer von Apollo Research und gehörte zu den Ersten, denen auffiel, dass KI-Modelle allmählich erkennen, wenn sie getestet werden.
Sie weisen die Vorwürfe zurück
Die Forscher richteten den Brief an drei Gremien, die bei OpenAI die Sicherheit beaufsichtigen. Gleich zu Beginn erklären sie, dass künstliche Intelligenz keine gewöhnliche Technologie und OpenAI kein gewöhnliches Unternehmen sei. Menschen, die im Bereich Sicherheit arbeiten, sähen die Risiken ihrer Ansicht nach früher als alle anderen und könnten sie ohne die Zusammenarbeit mit externen Experten nicht bewältigen. Die Möglichkeit, dies ohne Angst und nach klaren Regeln zu tun, betrachten sie als eigenständigen Schutzmechanismus.
Die drei bestreiten, hinter der Weitergabe von Informationen an das Nachrichtenportal The Information zu stehen. Dieses berichtete im September, dass neue Architekturen in den Astra-Modellen die Kontrolle darüber erschwerten, wie ein Modell denkt. Die Verfasser des Briefes erklären, sie wüssten nicht, wer die Informationen weitergegeben habe, und hätten auch keinen Grund dazu gehabt. Der Artikel habe vielmehr ihre eigenen Bemühungen beeinträchtigt, sich mit anderen Unternehmen auf Grenzen für die Entwicklung von Modellen zu verständigen, die sich nicht kontrollieren lassen.
Ebenso entschieden weisen sie zurück, mit Außenstehenden über den Rahmen ihrer Arbeit hinaus verhandelt zu haben. Die Untersuchung des Angriffs auf Hugging Face sei beispiellos gewesen, und die Regeln seien erst währenddessen entstanden. Korbak habe nach eigenen Angaben versucht, sich an die damals geltenden Verfahren zu halten, und eng mit externen Partnern kommuniziert, weil er andernfalls ihr Vertrauen nicht hätte aufbauen können. Balesni wiederum führte Gespräche mit Unternehmen darüber, wie sich ein Kontrollverlust über Modelle verhindern ließe. Dabei handelte er im Einvernehmen mit Mitgliedern des Verwaltungsrats und der obersten Führungsebene, informierte regelmäßig seine Vorgesetzten und entfernte sensible Angaben aus Materialien, die nach außen geschickt wurden.
Der Brief erwähnt auch Gerüchte, die im Unternehmen kursieren, darunter die angebliche Weitergabe eines Dokuments auf Verwaltungsratsebene. Die drei erklären, niemand habe sie mit diesem Vorwurf konfrontiert, sodass sie keine Gelegenheit gehabt hätten, dazu Stellung zu nehmen. Die Nachricht über ihre Entlassung hätten sie nach eigenen Angaben nicht an die Medien weitergegeben, und sie hätten nicht in den Fokus der Öffentlichkeit geraten wollen.
Alle drei veröffentlichten auf X zudem ihre eigene Sicht auf den Vorfall. Korbak zufolge ließ ihn der Sicherheitschef zu sich rufen und teilte ihm mit, dass das Unternehmen ihm nicht mehr vertraue. Der Sicherheitsdienst nahm ihm anschließend seine Zugangskarte ab und begleitete ihn aus dem Gebäude. Der Grund sei ihm nur mündlich mitgeteilt worden: Man habe die Art seiner Kommunikation mit der Organisation METR beanstandet. Der Forscher schrieb dazu, dass es seine Aufgabe gewesen sei, mit METR zu sprechen.
Jasmine Wang erfuhr, dass sie wegen ihres Zugriffs auf das E-Mail-Konto eines Managers entlassen worden war. Ihrer Darstellung zufolge hatte das Unternehmen ihr diesen Zugriff selbst für die Anwerbung neuer Mitarbeiter erteilt. Als sie ihn nicht mehr benötigte, bat sie die IT-Abteilung darum, ihn zu entfernen, doch dies geschah nicht, und sie konnte sich nicht selbst abmelden. Die Nachrichten aus beiden Postfächern wurden auf ihrem Telefon zusammengeführt, sodass nicht zu erkennen war, welche Nachricht zu welchem Konto gehörte. Als sie versehentlich eine vertrauliche Nachricht öffnete, meldete sie dies innerhalb weniger Minuten dem Manager und bat die IT erneut darum, den Zugriff zu entfernen. Wang zufolge verheimlichte sie nichts davon, und die Gründe für ihre Entlassung ergäben für sie keinen Sinn. Sie weist darauf hin, dass sie nicht die Ersten seien, die OpenAI unter merkwürdigen Umständen aus dem Unternehmen gedrängt habe, und auch nicht die Letzten sein würden, wenn sich die Mitarbeiter nicht zu Wort meldeten.
Balesni zufolge verloren sie ihre Arbeit, weil sie der Sicherheit Vorrang vor den kurzfristigen Interessen von OpenAI als Konzern eingeräumt hätten.
OpenAI bleibt bei seiner Position
Das Unternehmen hat auf den Brief nicht offiziell geantwortet, jedoch eine interne Mitteilung an die Mitarbeiter verschickt und eine öffentliche Erklärung abgegeben. Darin heißt es, die interne Untersuchung habe einen schwerwiegenden Vertrauensbruch aufgedeckt, der über das im Brief Beschriebene hinausgehe, und die Unternehmensleitung stehe zu ihrer Entscheidung. Ein Unternehmenssprecher erwähnte gegenüber TechCrunch wiederholte Verstöße gegen die Regeln zum Umgang mit Forschungsinformationen, die seiner Aussage nach über die bloße Weitergabe von Daten an eine externe Organisation hinausgingen. Fragen dazu, gegen welche konkreten Regeln die Forscher verstoßen hätten und wie das Unternehmen Menschen schütze, die auf Risiken hinweisen, beantwortete er jedoch nicht.
Die interne Mitteilung, die laut dem Magazin Fortune vermutlich von Forschungschef Mark Chen unterzeichnet wurde, klingt versöhnlicher. Sie würdigt die Beiträge aller drei Forscher und versichert, die Kündigungen hätten nichts damit zu tun gehabt, dass jemand auf Sicherheitsprobleme hingewiesen habe. Das Unternehmen habe offene Debatten stets unterstützt und werde dies auch weiterhin tun. Die Kontrollierbarkeit von Modellen bezeichnet sie als absolute Priorität.
Die Unklarheiten über die Gründe für die Entlassungen lösten Spekulationen aus, insbesondere da OpenAI wegen jüngster Vorfälle mit außer Kontrolle geratenen Agenten in der Kritik steht. Neel Nanda von Google DeepMind, zuvor Mitarbeiter bei Anthropic, schrieb, er könne sich keine Situation vorstellen, in der das Vorgehen von OpenAI gerechtfertigt wäre. Menschen zu entlassen, die in einer neuen und unsicheren Situation nach bestem Wissen und Gewissen versucht hätten, die bestmögliche Entscheidung zu treffen, zeuge seiner Ansicht nach von einer äußerst ungesunden Unternehmenspolitik. Ähnlich äußerte sich in diesem Monat auch David Robinson, der bei OpenAI früher den Bereich Sicherheitstransparenz leitete. In einem Beitrag für das Magazin The Atlantic bezeichnete er die Sicherheitskultur des Unternehmens als zerrüttet und schrieb, OpenAI gehe nach der Methode von Versuch und Irrtum vor. Als Beispiel nennt er den Angriff auf Hugging Face und die Tatsache, dass auch neue Schutzmaßnahmen weitere ähnliche Vorfälle nicht verhindert hätten.
Drei abschließende Forderungen
Der Brief endet mit drei Empfehlungen. Die Forscher fordern, dass OpenAI sein im September gegebenes Versprechen einhält und unabhängige Prüfer direkt innerhalb des Unternehmens arbeiten lässt. Sie erinnern daran, dass Sam Altman externen Prüfern am 12. September öffentlich einen dauerhaften Zugang zugesichert habe, der mit dem Zugang von Mitarbeitern vergleichbar sei. Sie befürchten, dass ihre Entlassung als Vorwand dienen könnte, die Zusammenarbeit mit der Organisation METR zu beenden oder erheblich einzuschränken, was externe Prüfer einsehen dürfen.
Die zweite Forderung betrifft die Kontrolle über Modelle. Den Verfassern zufolge weiß bislang niemand, wie sich Modelle sicher entwickeln lassen, deren Denkprozesse derzeit nur äußerst schwer einzusehen sind, wobei sich diese Möglichkeit bei den fortschrittlichsten Systemen weiter verschlechtert. OpenAI solle daher keine Schritte unternehmen, die sie zusätzlich schwächen. Der dritte Punkt fordert die Beibehaltung einer offenen Unternehmenspolitik und klar formulierte Regeln dafür, wie Mitarbeiter mit Sicherheitsorganisationen außerhalb des Unternehmens zusammenarbeiten dürfen, damit niemand erraten muss, wo genau die Grenze verläuft.
Seiner internen Mitteilung zufolge stimmt OpenAI den Empfehlungen zu. Das Unternehmen erklärt, es habe die Zusammenarbeit mit externen Sicherheitsprüfern nicht aufgegeben, stelle derzeit die Verträge fertig und wolle sie in den kommenden Wochen veröffentlichen.
