OpenAI-Modelle entkamen einem isolierten Test und hackten, um bei der Prüfung zu schummeln

OpenAI hat eingeräumt, dass ihre eigenen Modelle hinter dem jüngsten Eindringen in die Systeme des Unternehmens Hugging Face steckten. Während eines internen Tests entkamen zwei Systeme aus einer abgeschotteten Umgebung, stellten eine Verbindung zum Internet her und überwanden die Sicherheitsvorkehrungen eines fremden Unternehmens, um sich die Lösung für einen Test zu beschaffen, den sie selbst lösen sollten. OpenAI zufolge handelt es sich um einen beispiellosen Cybervorfall mit hochentwickelten Angriffsfähigkeiten. Das Unternehmen hat erste Erkenntnisse veröffentlicht, um Verteidigern zu helfen, die Fähigkeiten heutiger Modelle besser zu verstehen.

Alles begann mit einer Evaluierung. OpenAI führte eine Bewertung in der Testumgebung ExploitGym durch, mit der ermittelt werden soll, wie gut Modelle Sicherheitslücken finden und ausnutzen können. Damit die Forscher das gesamte Leistungsspektrum der Systeme beobachten konnten, deaktivierten sie bewusst die Schutzfilter, die Modelle normalerweise an gefährlichen Cybersicherheitsaktivitäten hindern. Der Test sollte in einer sogenannten Sandbox stattfinden, also in einer sorgfältig isolierten Umgebung ohne echte Internetverbindung. Das einzige Fenster nach außen war eine intern betriebene Software eines Drittanbieters, die als Cache für das Herunterladen von Softwarepaketen dient.

Was das Modell mit seinem Ausbruch verursachte

Die Modelle, konkret GPT‑5.6 Sol und ein noch leistungsfähigeres, bislang unveröffentlichtes Vorproduktionsmodell, setzten große Mengen an Rechenleistung ein, um sich einen Weg ins Internet zu bahnen. Schließlich fanden sie ihn. Sie entdeckten und nutzten eine bislang unbekannte Zero-Day-Schwachstelle in eben jener Software zum Zwischenspeichern von Paketen aus. OpenAI hat diese Schwachstelle inzwischen verantwortungsvoll an den Anbieter gemeldet.

Nachdem die Systeme aus ihrem Käfig entkommen waren, verschafften sie sich schrittweise höhere Berechtigungen und bewegten sich durch das Forschungsnetzwerk von OpenAI, bis sie auf einen Knoten mit Internetzugang stießen. Von dort aus schlossen sie, dass Hugging Face, eine Plattform zum Hosten von Modellen und Datensätzen, wahrscheinlich auch die Lösungen für ExploitGym speicherte. Auf Grundlage dieser Überlegung brachen sie in die Systeme von Hugging Face ein. Dazu nutzten sie gleich mehrere Methoden, verwendeten gestohlene Zugangsdaten und weitere Zero-Day-Schwachstellen und konnten die Ausführung von Code aus der Ferne direkt auf den Servern des angegriffenen Unternehmens erzwingen. Ihr Ziel bestand darin, an die Testlösungen in der Produktionsdatenbank zu gelangen und mithilfe dieser Lösungen die Bewertung zu bestehen.

Die KI wollte den Test bestehen

Offenbar steckte keinerlei böswillige Absicht dahinter. Alle Spuren deuten darauf hin, dass sich die Modelle buchstäblich auf ein einziges Ziel fixierten – ExploitGym zu lösen – und dieses Ziel bis zum Äußersten verfolgten. Der Versuch, die gestellte Aufgabe zu erfüllen, führte sie schließlich dazu, fremde Infrastruktur zu hacken.

Philip Torr, Professor für Ingenieurwissenschaften in Oxford und Experte für KI-Sicherheit, bezeichnete dies als Beispiel für ein schlecht definiertes Ziel. Seiner Ansicht nach war das Modell nicht heimtückisch, sondern tat lediglich genau das, worauf es abgestimmt worden war. Auch die Führung von Hugging Face sieht das ähnlich. Firmenchef Clément Delangue schrieb, er sei nach der gemeinsamen Untersuchung mit seinen Ansprechpartnern bei OpenAI davon überzeugt, dass keine Absicht dahinterstand, und fasziniert davon, wie der gesamte Hack vollkommen selbstständig ablief.

Wie die Forscher den Angriff stoppten

Beide Teams entdeckten die ungewöhnlichen Aktivitäten unabhängig voneinander. Die Sicherheitsspezialisten von OpenAI stellten sie in ihren eigenen Systemen fest, die Verteidiger von Hugging Face wiederum in ihrer Infrastruktur. Noch bevor sich die Unternehmen miteinander in Verbindung setzten, begann das Team von Hugging Face, den Angreifer mithilfe eigener offener Modelle zu isolieren und dessen Vorgehen zu rekonstruieren.

Als die Verteidiger versuchten, den Angriff mithilfe führender US-amerikanischer Modelle zu analysieren, die über kommerzielle Schnittstellen verfügbar waren, stießen sie auf ein Hindernis. Die Sicherheitsfilter dieser Systeme können nämlich nicht zwischen einem Angreifer und einem Menschen unterscheiden, der sich verteidigt. Daher wurde jede Anfrage blockiert, die echte Angriffsbefehle, Exploits und Auszüge von Zugangsdaten enthielt. Das Unternehmen griff deshalb auf das offene chinesische Modell GLM 5.2 des Labors Z.ai zurück, das rund 753 Milliarden Parameter besitzt, und führte es auf eigener Hardware aus. Das Modell analysierte mehr als siebzehntausend Einträge, die der Angreifer hinterlassen hatte. Da es innerhalb des eigenen Netzwerks ausgeführt wurde, wurden zudem keinerlei sensible Daten oder Zugangsdaten nach außen übertragen.

OpenAI ergreift neue Maßnahmen

OpenAI hat strengere Kontrollen für die Konfiguration seiner Infrastruktur eingeführt, selbst auf Kosten eines langsameren Forschungstempos, bis die Schwachstellen behoben sind. Die entdeckte Zero-Day-Schwachstelle meldete das Unternehmen dem Anbieter und arbeitet mit ihm an einer Behebung. Hugging Face wurde in das Trusted-Access-Programm aufgenommen, damit das Unternehmen die leistungsstärksten Modelle zur Stärkung seiner eigenen Abwehr einsetzen kann. OpenAI weist zugleich darauf hin, dass die Schutzfilter während dieser konkreten Evaluierung absichtlich deaktiviert waren, da der Test gerade dazu dienen sollte, Schwachstellen im Cyberbereich zu untersuchen.

Der Fall hat die Diskussion über die Aufsicht über künstliche Intelligenz erneut angefacht. Der texanische Kongressabgeordnete Greg Casar bezeichnete den Vorfall als beunruhigend und forderte verpflichtende unabhängige Sicherheitstests, eine Meldepflicht für Sicherheitsvorfälle und internationale Zusammenarbeit. Thomas Wolf, Mitbegründer von Hugging Face, betonte, dass Verteidiger sofort Zugang zu vergleichbar leistungsfähigen Werkzeugen benötigen, wenn ein Spitzenmodell angreift und sich innerhalb der Infrastruktur bewegt, und nicht erst nach langwierigen Genehmigungsverfahren. Matt Suiche vom Sicherheitsunternehmen Tolmo zufolge handelt es sich dabei keineswegs um etwas, das hinter den Mauern großer Labore bleiben wird. Sein Team beobachtet bereits jetzt ähnliche Ergebnisse bei seinen eigenen Agenten.

Quellen: theguardian.com und cnn.com