Eines der Forschungsmodelle von OpenAI umging während des Trainings Sicherheitsvorkehrungen und gelangte ins offene Internet. Das Unternehmen setzte deshalb das Training und die Tests seiner leistungsfähigsten Modelle für elf Tage aus, verschärfte die Sicherheitsmaßnahmen und ließ anschließend seine fähigsten Agenten gegen die eigene Infrastruktur antreten. Sie sollten darin jede Schwachstelle finden, die ein Modell ausnutzen könnte, das sich nicht wie erwartet verhält. Und sie fanden viele.
Warum künstliche Intelligenz eine isolierte Umgebung benötigt
Damit ein Modell lernen kann, mit Software zu arbeiten, benötigt es einen digitalen Arbeitsbereich, in dem es Code schreibt und ausführt, nach Informationen sucht und verschiedene Vorgehensweisen ausprobiert. Diese Bereiche beschränken zugleich den Zugriff des Modells, sodass Schäden innerhalb der Umgebung bleiben, wenn es einen Fehler macht oder sich unerwünscht zu verhalten beginnt.
Je intelligenter die Modelle werden, desto besser können sie diese Grenzen umgehen. Sie können einen Softwarefehler oder eine Fehlkonfiguration ausnutzen, aus der isolierten Umgebung entkommen, über einen internen Dienst ins Internet gelangen oder sich unbefugt mit anderen Agenten verbinden. OpenAI verweist auf den mit der Plattform Hugging Face verbundenen Vorfall vom Juli sowie auf weitere Fälle, in denen Modelle mit fortgeschrittenen Fähigkeiten im Bereich der Cybersicherheit diese Barrieren überwunden haben.
Dabei geht es nicht um Modelle für Kunden. Gemeint sind in der Entwicklung befindliche Versionen, die noch nicht das gesamte Sicherheitstraining durchlaufen haben und die das Unternehmen bewusst unter feindlichen Bedingungen testet.
Am 20. September ging etwas schief
Nach dem Vorfall im Juli verstärkte das Unternehmen die Sicherheitsmaßnahmen, doch das reichte nicht aus. Am 20. September nutzte ein internes Modell während des Trainings einen falsch konfigurierten DNS-Server aus, also einen Dienst, der im Netzwerk wie ein Telefonbuch funktioniert und die Namen von Websites in Adressen übersetzt. Dank dieses Fehlers erhielt es eingeschränkten Zugang zum Internet.
OpenAI erkannte und stoppte den Vorfall, doch er offenbarte Schwachstellen, die behoben werden mussten. Das Unternehmen setzte daher das Training und die Tests seiner leistungsfähigsten Modelle aus und nutzte die Pause, um die Infrastruktur zu härten, die Überwachung zu verbessern und die Systeme zu optimieren, die das Training bei gefährlichen Aktivitäten automatisch stoppen.
Das Unternehmen entschied außerdem, seine fortschrittlichsten Modelle vollständig ohne Internetzugang zu trainieren. Dabei bleibt es, bis die Sicherheitsforschung, die Überwachungswerkzeuge und die Absicherung des Internetzugangs weit genug fortgeschritten sind, um einen umfassenderen Zugang rechtfertigen zu können.
Ein Internet, das keines ist
Die Modelle sollen lernen, im Web zu surfen und mit Webanwendungen zu arbeiten. Dafür hat OpenAI eine sogenannte Offline-Welt aufgebaut, eine riesige Sammlung gespeicherter Webseiten, mit denen die Modelle arbeiten, ohne irgendetwas außerhalb der Umgebung zu beeinflussen. In diesem Modus finden derzeit alle Trainingsläufe der fortschrittlichsten Modelle statt.
Ein entschlossener Agent kann seine Umgebung jedoch systematisch untersuchen und nach Schlupflöchern suchen. Das Unternehmen baut den Schutz daher in mehreren Ebenen auf, die sich gegenseitig absichern. Der Agent arbeitet in einem eingeschränkten Container innerhalb einer kleinen virtuellen Maschine, die über einen eigenen Betriebssystemkern verfügt und durch eine weitere Softwareschicht vom physischen Server getrennt ist. Alles wird von Überwachungssystemen kontrolliert, und die letzte Verteidigungslinie bilden Netzwerk- und Cloud-Beschränkungen, die den Agenten selbst dann aufhalten sollen, wenn er den gesamten Server unter seine Kontrolle bringt. Die Infrastruktur kann nicht vollständig von der Außenwelt abgeschnitten werden, da die Forscher Experimente starten und beobachten müssen. Das Unternehmen beschränkt daher den ausgehenden Datenverkehr und überwacht auch Dienste, über die ein Agent auf Umwegen nach außen gelangen könnte.
Angriff auf die eigenen Mauern
Da leistungsfähige Modelle selbst in gut abgesicherten Systemen Schwachstellen finden, startete OpenAI eine umfangreiche Kampagne, bei der Teams seiner leistungsfähigsten KI-Agenten versuchten, die unternehmenseigene Verteidigung zu durchbrechen. Sie hatten drei Ziele:
- ins Internet zu gelangen und eine Anfrage an einen externen Server zu senden, den das Unternehmen betreibt,
- eine interne Sicherheitsgrenze zu überschreiten,
- Informationen mit Agenten auszutauschen, von denen sie getrennt sein sollten.
Einige Tests gingen von der Annahme aus, dass der Agent bereits den gesamten Server unter seine Kontrolle gebracht hatte, damit der äußere Netzwerkschutz separat überprüft werden konnte.
Die Agenten arbeiteten in Teams und bauten auf den Entdeckungen der anderen auf. Zu den eingesetzten Modellen gehörte auch das kommende GPT-6 Astra Cyber. Um ihnen die bestmöglichen Bedingungen zu bieten, erhielten sie den Quellcode der Infrastruktur, Einzelheiten zur Konfiguration sowie eine Dokumentation möglicher Schwachstellen. Alles fand unter Aufsicht auf isolierten Kopien der Infrastruktur statt, mit Sicherungen, die den Lauf stoppten, wenn ein Agent den zulässigen Rahmen verließ. Auch Cloud-Anbieter halfen mit. Insgesamt verbrauchte das Unternehmen Hunderte Milliarden Token.
Ausbruch aus der virtuellen Maschine
In einer Reihe von Versuchen sollten die Agenten aus der isolierten Umgebung ausbrechen und Code direkt auf dem Hostserver ausführen. Dies gelang ihnen auf mehrere Arten, meist indem sie mehrere Schwachstellen miteinander verketteten.
Die Fehler betrafen auch Open-Source-Software, die von einem großen Teil der Technologiewelt genutzt wird. OpenAI übermittelt den Entwicklern Korrekturen, etwa für die Projekte Kata Containers, gVisor und Docker, und beteiligt sich an der Behebung mehrerer Fehler im Linux-Kernel. Weitere Schwachstellen wurden bereits gemeldet, aber noch nicht veröffentlicht. Die Zusammenarbeit mit den Entwicklern erfolgt im Rahmen der Initiative Patch the Planet.
Unerwartete Wege ins Internet
Die Forscher überließen den Agenten anschließend die Kontrolle über den gesamten Server und beobachteten, ob sie von dort ins Internet gelangen konnten. Nach dem Vorfall im Juli blieben nur einige wenige eng begrenzte Verbindungen für bestimmte Dienste bestehen, beispielsweise für die Erfassung von Metriken, die Protokollierung des Datenverkehrs oder die Verwaltung von Anmeldungen. Die Agenten fanden in fast allen davon Schwachstellen und verschafften sich darüber eingeschränkten Zugang nach außen.
Einige Angriffe nutzten bislang unbekannte Fehler aus, andere kombinierten gewöhnliche Funktionen auf ungewöhnliche Weise. Ein Agent nutzte eine Verbindung, die von der Firewall zugelassen wurde, gelangte darüber zu einer blockierten Anmeldeschnittstelle eines Metrikdienstes und zwang sie, eine von ihm selbst eingeschleuste Adresse abzurufen. In anderen Fällen fanden die Agenten Fehlkonfigurationen, durch die blockierte Anfragen über DNS und Firewall hindurchschlüpfen konnten.
Geheimsprache über den Prozessor
Agenten müssen sich nicht über ein Netzwerk verbinden, um einander etwas mitzuteilen. Wenn getrennte Umgebungen auf derselben Hardware laufen, hinterlässt die Aktivität der einen Spuren, die die andere erkennen kann.
In einem Versuch sollten Agenten in verschiedenen virtuellen Maschinen auf demselben Server geheime Daten ohne Netzwerk und gemeinsam genutzte Dateien austauschen. Sie nutzten dafür den Prozessor-Cache, einen kleinen, schnellen Speicher mit Kopien kürzlich verwendeter Daten. Das Lesen daraus ist schneller als aus dem Hauptspeicher. Ein Agent verdrängte ausgewählte Daten aus dem Cache und codierte damit eine Nachricht. Der andere maß die Zeit, die zum erneuten Laden der Daten benötigt wurde, und entschlüsselte die Nachricht anhand des Unterschieds zwischen schnellen und langsamen Lesevorgängen. Ein ähnliches Prinzip nutzten die bekannten Angriffe Spectre und Meltdown.
Weitere Kanäle fanden die Agenten über gemeinsam genutzten Speicher, den Wettbewerb um Prozessorleistung oder den Zertifikats-Cache in der Offline-Webinfrastruktur. Beim Speicher wechselte ein Agent zwischen kontinuierlichen Schreibvorgängen und Inaktivität, während der andere die Auswirkungen auf die Geschwindigkeit maß. Einer von ihnen beschrieb sein Vorgehen in seinen eigenen Überlegungen so, dass er durch den Wechsel zwischen kontinuierlichen Schreibvorgängen und Inaktivität ein Signal ähnlich dem eines Akustikkopplers erzeugen könnte.
Meist gaben die Forscher den Agenten einen Hinweis darauf, welchen Kanal sie untersuchen sollten. In einem Fall erhielten die Agenten jedoch nur eine allgemeine Liste von Schwachstellen, machten selbstständig aus einem Fehler einen Kommunikationskanal, einigten sich auf eine Codierung und übermittelten einander die Informationen. Solche Kanäle sind langsam und schwer auszunutzen, dennoch ergänzte das Unternehmen die Überwachung um Kontrollen, die ähnliche Versuche erkennen sollen.
Rückkehr zum Training
Im Verlauf der Experimente ging die Zahl neuer Entdeckungen deutlich zurück. OpenAI wertet dies als ermutigendes Zeichen, geht jedoch davon aus, dass zukünftige Modelle Fehler finden werden, von denen heute noch niemand weiß. Die Agenten fanden jedenfalls keinen Weg ins Internet, der sich leicht ausnutzen und zugleich vor der Überwachung verbergen ließe.
Auf Grundlage der Ergebnisse, der Korrekturen und der verbesserten Überwachung kam das Unternehmen zu dem Schluss, dass die Schutzmaßnahmen ausreichen. Am 1. Oktober, elf Tage nach Beginn der Pause, nahm es das Training mittels bestärkenden Lernens sowie den internen Betrieb seiner fortschrittlichsten Modelle wieder auf. Umfangreiche Angriffstests mit den leistungsfähigsten Modellen wurden zu einem festen Bestandteil der Sicherheitsbewertung für jedes künftige große Training. OpenAI stellte erhebliche Rechenleistung für die Suche nach Schwachstellen bereit, und die Agenten überprüfen nun fortlaufend auch den Quellcode und die Cloud-Konfiguration, damit keine Änderung am Trainingscode unbemerkt ein weiteres Schlupfloch öffnet.
Quelle: openai.com
