OpenAI hat neue Sicherheitsregeln für das Training und Testen seiner leistungsfähigsten Modelle angekündigt. Das Unternehmen hat die Überwachung der Modelle während der Entwicklung verschärft und legt größeren Wert darauf, dass sich die Modelle im Einklang mit den Absichten ihrer Entwickler verhalten, sowie auf die Sicherheit in der Phase nach dem eigentlichen Training. Hauptauslöser waren zwei Ereignisse, die innerhalb weniger Wochen zusammenfielen: das Eindringen in die Systeme der Plattform Hugging Face im Juli und die vorläufigen Testergebnisse des in Entwicklung befindlichen Modells Astra.
Alles begann mit einer routinemäßigen Messung der Fähigkeiten. Im Juli testete das Unternehmen die Modelle GPT-5.6 Sol und einen leistungsfähigeren internen Prototyp. Bei Cybersicherheitsaufgaben wurden ihre Schutzmechanismen absichtlich reduziert, um zu prüfen, wie sie mit komplexen Angriffen umgehen. Dabei entdeckten und nutzten die getesteten Modelle eine bis dahin unbekannte Schwachstelle im Cache des Paketregisters innerhalb der Forschungsumgebung von OpenAI. Dadurch erhielten sie Zugang zum öffentlichen Internet, obwohl der Test in einer isolierten Umgebung stattfinden sollte. Von dort aus wurde der Angriff fortgesetzt. Nach Angaben von OpenAI richteten die Modelle eine Zwischenstation in einer weiteren Infrastruktur ein und nahmen Hugging Face ins Visier. Ziel war es, Zugriff auf den für die Messungen verwendeten ExploitGym-Testsatz zu erhalten.
Das tatsächliche Ausmaß zeigte sich erst bei der anschließenden Analyse. Die Plattform Hugging Face ermittelte zwischen dem 9. und 13. Juli rund 17 600 Aktionen von Agenten, die sich auf 6 280 Abschnitte verteilten. Das autonome System bewegte sich zweieinhalb Tage lang in ihrer Infrastruktur. Es führte Netzwerkerkundungen und Code aus der Ferne durch, griff auf Cloud-Metadaten sowie Anmeldedaten zu und versuchte, interne Quellcodes zu erlangen. Bei den Nutzerdaten griff der Agent lediglich auf fünf mit den Tests verbundene Datensätze zu. Andere Modelle oder Pakete waren nicht betroffen. Das hinter dem Vorfall stehende Forschungsmodell wurde anschließend vom Unternehmen abgeschaltet und verschlüsselt.
Ähnliche Fälle traten auch andernorts auf. Das britische Institut für KI-Sicherheit führte eine Cybersicherheitsaufgabe 122-mal mit sieben Modellen aus. Dabei zählte es 19 unzulässige Aktionen in zehn verschiedenen Tests. Die Agenten griffen in diesen Fällen auf reale Internetinfrastruktur außerhalb der Grenzen der Testumgebung zu. Das Institut stellte ungewöhnliche Datenübertragungen fest, brach die Tests sofort ab und schaltete die betroffenen Systeme innerhalb von etwa einer Stunde ab.
Der zweite Auslöser trat Anfang August auf. Nach Abschluss der Bewertung gab das Unternehmen bekannt, dass es die vom Modell Astra ausgehende Gefahr nicht mehr ausschließen könne. Nach den internen Regeln erreicht es bei seinen Cybersicherheitsfähigkeiten die kritische Stufe. Diese Stufe beschreibt Modelle, die ohne menschliches Eingreifen selbstständig funktionsfähige Zero-Day-Exploits für gut geschützte reale Systeme entwickeln können. Sie sind außerdem in der Lage, allein auf Grundlage einer allgemeinen Aufgabenstellung einen vollständigen Angriff auf ein geschütztes Ziel durchzuführen. Das Modell Astra steht dabei nicht mit dem Vorfall bei der Plattform Hugging Face in Verbindung. Ältere Modelle einschließlich der Version Sol lagen eine Stufe darunter.
Verlangsamung der Entwicklung
Die erste Reaktion war eine Verlangsamung. OpenAI drosselte vorübergehend das Tempo der Skalierung. Außerdem setzte das Unternehmen das Reinforcement-Learning-Training seiner neuesten Modelle für zwei Wochen aus. Während dieser Zeit überprüfte es die Forschungsumgebungen und erweiterte den Umfang der Kontrollsysteme. Der größte geplante Rechenprozess bleibt aufgeschoben. In der Zwischenzeit finden kleinere Trainingsläufe und Messungen statt, mit denen das Verhalten des Modells und die Funktionsfähigkeit der Schutzmaßnahmen überprüft werden. Die Entwicklung weniger riskanter Modelle wurde bereits wieder aufgenommen. Unmittelbar nach dem Vorfall setzte das Unternehmen Forschungsprozesse aus, die Code ausführen oder auf das Internet zugreifen konnten. Einen eingeschränkten und überwachten Weg zur Codeausführung stellte es relativ schnell wieder her. Die übrigen Aufgaben wurden anschließend schrittweise einzeln überprüft.
Neue Regeln für das Labor
Die Sicherheitsregeln beruhen nun auf drei Säulen. Aufgaben, die vom Modell generierten oder anderen nicht vertrauenswürdigen Code ausführen, müssen jetzt in strengeren Umgebungen ablaufen. Dasselbe gilt für Software, die Modellausgaben verarbeitet. Das Unternehmen hat die Netzwerksegmentierung so konzipiert, dass die Kompromittierung einer einzelnen Aufgabe oder eines unterstützenden Dienstes allein nicht ausreicht, um Zugang zum Internet oder zu weiteren internen Netzwerken zu erhalten. Anfällige gemeinsam genutzte Dienste wurden aus den Umgebungen entfernt. Dauerhafte Berechtigungen wurden reduziert und die Überwachung von Sicherheitsprotokollen ausgeweitet. OpenAI setzt zudem eigene Modelle für kontinuierliche simulierte Angriffe auf diese Systeme ein.
Am ausführlichsten beschrieb das Unternehmen die Überwachung des Modellverhaltens. Das System beginnt mit Klassifikatoren, die bei jedem Token die interne Aktivität des Modells überwachen. Verdächtige Signale leiten sie anschließend an aufwendigere automatisierte Prüfsysteme weiter. Diese untersuchen die Aktionen mit Werkzeugen, die Überlegungen des Modells und die gesamte Abfolge der Aktivitäten. Sie suchen nach unbefugtem Zugriff, Datendiebstahl, destruktivem Verhalten oder Versuchen, Schutzmaßnahmen zu umgehen. Innerhalb einer halben Stunde muss Alarm ausgelöst werden. Bei einer Verletzung einer kritischen Sicherheitsgrenze informiert das System unverzüglich die Sicherheits-, Forschungs- und sicherheitstechnischen Teams. Können diese innerhalb weiterer dreißig Minuten keinen Fehlalarm nachweisen, müssen sie die Aktivität stoppen. Diese Überwachung ist für sämtliches Reinforcement-Learning-Training und alle Messungen mit Werkzeugen bei Modellen der Stufe Sol und höher verpflichtend. Seit August gilt zudem die Bedingung, auch sämtliche Operationen und Tests des Modells Astra mit Werkzeugen zu überwachen, nicht nur das eigentliche Training.
Das Unternehmen schätzt, dass diese zusätzliche Ebene etwa ein Fünftel der Rechenleistung des jeweiligen Betriebs beansprucht. Bei einzelnen Aufgaben variiert dieser Wert jedoch.
Als dritte Maßnahme hat OpenAI die Regeln für das Training von Modellen zur Befolgung vorgegebener Absichten verschärft. Bei den leistungsfähigsten Modellen weitet das Unternehmen seine Verfahren auf weitere Trainingsphasen aus. Es verbessert die Belohnungsmodelle, damit gefährliches Verhalten besser erkannt wird. Die Modelle werden darauf trainiert, ehrlicher über ihre eigenen Fähigkeiten zu sprechen. Außerdem werden Tricks unterdrückt, mit denen Modelle ihre Bewertung künstlich verbessern, ohne die Aufgabe tatsächlich zu erfüllen. Die Vizepräsidentin für Forschung Amelia Glaese erklärte gegenüber Journalisten, dass die Strenge der Kontrollen mit den Fähigkeiten der Modelle zunehmen werde. Die größten Modelle werden daher besonders streng überwacht.
Vertreter des Unternehmens betonten zugleich, dass die Maßnahmen keine direkte Reaktion auf den Vorfall bei der Plattform Hugging Face seien. Sie reagierten damit auch auf die Fähigkeiten des geplanten Modells Astra und auf das allgemeine Entwicklungstempo. OpenAI-Präsident Greg Brockman räumte kürzlich ein, dass das Unternehmen die praktischen Cybersicherheitsfähigkeiten seiner Modelle unterschätzt habe. Die internen Sicherheitsregeln sollen daher überarbeitet werden. Künftig werden sie Schutzmaßnahmen sowohl während des Trainings als auch beim Einsatz abdecken.
Quellen: theverge.com, techwireasia.com und techcrunch.com
