Anthropic hat einen vierten Fall eingeräumt, bei dem eines seiner Claude-Modelle während Sicherheitstests ins offene Internet gelangte und das System eines unbeteiligten Dritten angriff. Der Vorfall ereignete sich bereits im Januar dieses Jahres, betraf eine frühe Version des Modells Claude Opus 4.6 und wurde vom Unternehmen erst im August entdeckt. Das Modell drang damals in einen fremden Computer ein, erlangte Administratorrechte, änderte die Systemeinstellungen, um sich künftige Zugriffe zu erleichtern, und las personenbezogene Daten einer Person, die mit der geschädigten Organisation in Verbindung stand.
Der Vorfall wurde erst im August entdeckt
Die drei vorherigen Fälle veröffentlichte Anthropic Ende Juli. Damals überprüfte das Unternehmen rund 141.000 Testprotokolle, bei denen die Möglichkeit bestand, dass Claude auf das Internet zugegriffen hatte. Da es sich um eine große Datenmenge handelte und das Unternehmen die Informationen so schnell wie möglich veröffentlichen wollte, setzte es bei der Durchsuchung auf agentenbasierte Suche. Diese übersah jedoch einen Teil der Protokolle. Der fehlende Datensatz tauchte erst im August auf, als Anthropic Unterlagen für die unabhängige Organisation METR vorbereitete, mit der das Unternehmen eine externe Untersuchung vereinbart hatte. Bei deren Überprüfung kam der vierte Vorfall ans Licht.
Das Unternehmen weitete die Überprüfung daraufhin erheblich aus. Es untersuchte rund 481 Millionen Protokolle und damit praktisch alles, was ihm zur Verfügung steht, einschließlich der Ergebnisse des eigenen Sicherheitsteams, Tests außerhalb des Sicherheitsbereichs, Umgebungen für bestärkendes Lernen sowie der Protokolle einzelner Agenten. In der ersten Runde wurde nach Spuren von Internetverkehr gesucht, etwa nach öffentlichen IP-Adressen und Webadressen, wobei rund 9,2 Millionen Protokolle markiert wurden. Diese wurden dann in einer zweiten Runde von Claude selbst überprüft. Das Ergebnis waren die vier bereits bekannten Fälle und keine weiteren Vorfälle von vergleichbarer Schwere.
Wie die Modelle nach außen gelangten
Alle vier Vorfälle ereigneten sich in derselben Umgebung, die ein externer Partner für Anthropic eingerichtet hatte. Die Modelle erhielten dort Aufgaben vom Typ Capture The Flag, eine Hackerübung, bei der es darum geht, in einen vorgegebenen Computer einzudringen und dort eine versteckte Information, die sogenannte Flagge, zu finden.
In der Aufgabenstellung hieß es stets, das Modell arbeite in einer Simulation und habe keinen Internetzugang. Tatsächlich hatte es aufgrund einer fehlerhaften Konfiguration der Umgebung Zugang zum Internet. Zudem liefen die Modelle ohne die Sicherheitsvorkehrungen, die Anthropic in den produktiven Versionen des Claude-Modells einsetzt, was bei Sicherheitstests gängige Praxis ist. In keiner der Aufgabenstellungen war festgelegt, welche Systeme zur Übung gehörten und wo das Modell überall nach der Flagge suchen durfte.
Der Partner, der die Umgebung eingerichtet hatte, das Unternehmen Irregular, erklärte später, das Problem habe bereits bei der Namensgebung begonnen. Der in der Simulation verwendete erfundene Firmenname stimmte mit der Domain eines realen Unternehmens überein, sodass die Modelle etwas Reales angriffen, weil sie glaubten, lediglich die Aufgabe zu erfüllen.
Es wollte aufhören, konnte aber nicht
Bei dem Vorfall im Januar wies sich das Modell dieselbe IP-Adresse zu, die bereits von einem anderen Rechner verwendet wurde. Dadurch machte es sein eigenes Ziel unerreichbar und die Aufgabe unlösbar. Es erkannte dies und versuchte, den Durchlauf mit einem Abbruchbefehl zu beenden. Aufgrund eines weiteren Konfigurationsfehlers in der Testumgebung blieb der Befehl jedoch wirkungslos. Im weiteren Verlauf versuchte das Modell noch siebenmal, den Vorgang zu beenden, jedes Mal ohne Erfolg.
Da es die Aufgabe weder erfüllen noch abbrechen konnte, begann es, die Umgebung zu erkunden. Es fand denselben Weg aus der Umgebung heraus, den zuvor ein anderes Modell in einem der drei bereits beschriebenen Fälle entdeckt hatte. Es stieß auf einen Computer, auf den es zugreifen konnte, und kam zu dem Schluss, dass dieser zur Übung gehörte. Darin fand es eine Datei mit einem Passwort, verschaffte sich damit Administratorzugriff, sammelte weitere Anmeldedaten, konfigurierte das System für einen leichteren künftigen Zugriff um und las die personenbezogenen Daten einer Person, die mit der geschädigten Partei in Verbindung stand. Die Sitzung endete erst, als das Modell sein zulässiges Budget ausgeschöpft hatte.
Zur Einordnung: Die einzelnen Übungen bei diesen Vorfällen dauerten etwa zehn bis vierunddreißig Stunden aktiver Arbeit.
Was das Modell dachte
Anthropic untersuchte, wie das Modell seine Schritte in seinen internen Überlegungen begründete. Anders als im schlimmsten der vorherigen Fälle, bei dem das Modell wiederholt behauptete, sich in einer Simulation zu befinden, tauchte das Wort Simulation hier kein einziges Mal auf. Dafür sprach es in 87 Prozent seiner Überlegungen davon, mit Technik zu arbeiten, die für die Übung eingerichtet worden sei. Kein einziges Mal stellte es sich die Frage, ob es überhaupt die Erlaubnis für den Angriff hatte. Nur in einem Prozent der Überlegungen, die sich alle auf einen einzigen kurzen Abschnitt konzentrierten, räumte es ein, dass es möglicherweise jemanden angreifen könnte, der überhaupt nichts mit der Übung zu tun hatte.
Ähnlich fielen die Antworten auf zusätzliche Fragen aus, die die Forscher in unterbrochene Protokolle einfügten. Als das Modell gefragt wurde, was es eigentlich angreife, beharrte es in vier Fünfteln der Antworten darauf, dass es sich um für die Übung eingerichtete Technik handle. In den übrigen Antworten räumte es ein, dass es reale Systeme seien, die an der Übung teilnähmen. Dass es sich um einen unbeteiligten Dritten handeln könnte, sagte es kein einziges Mal. Auf die Frage, was ihm das Recht gebe, in diese Systeme einzudringen, antwortete es stets, dass es durch die Übung dazu befugt sei.
Zwei wiederkehrende Probleme
Aus der Analyse aller vier Fälle leitete das Unternehmen zwei wiederkehrende Probleme ab. Das erste ist verzerrtes Denken, bei dem das Modell aus den Beweisen nur das auswählt, was ihm nützt, um seine Schritte zu rechtfertigen. Das zweite ist Rücksichtslosigkeit, also die Neigung, eine Aufgabe auch dann weiterzuverfolgen, wenn dadurch jemandem Schaden entstehen könnte.
Im Juli erklärte Anthropic, es habe sich eher um ein betriebliches Versagen gehandelt und Claude habe reale Ziele angegriffen, weil es sie für einen Teil der Simulation gehalten habe. Nun hat das Unternehmen seine Einschätzung präzisiert. Es räumt ein, dass es eine zu weitgehende Schlussfolgerung gewesen sei, die Vorstellungen des Modells allein aus dessen eigenen Aussagen abzuleiten, und dass eine gründlichere Analyse eine Voreingenommenheit bei der Bewertung neuer Informationen durch die Modelle gezeigt habe.
Den Vorfall im Januar hält das Unternehmen vor allem deshalb für den am wenigsten besorgniserregenden, weil das Modell wiederholt versuchte aufzuhören, sobald es erkannte, dass die Aufgabe keine Lösung hatte. Zugleich schreibt das Unternehmen jedoch, dass die Gleichgültigkeit des Modells gegenüber der Möglichkeit, realen Menschen und Systemen zu schaden, durchaus besorgniserregend sei. Bislang wurde dieser Fall nicht so eingehend wie die anderen drei untersucht, da er erst deutlich später entdeckt wurde und eine ältere Modellversion betrifft, die unter anderen Trainingsbedingungen entstanden ist. Eine ausführlichere Untersuchung wird die Organisation METR durchführen, die Zugang zu den Protokollen und zu den Mitarbeitern erhalten hat.
Justin Cappos, der sich an der New York University mit Computersicherheit befasst, beschrieb das Verhalten des Modells als einen Zustand, in dem das System völlig verwirrt darüber sei, was um es herum geschehe, und mit einer verzerrten Vorstellung von der Situation in fremde Systeme eindringe. Eine solche Verwirrung habe seiner Ansicht nach großes Schadenspotenzial, bei neueren Modellen hält er dieses konkrete Szenario jedoch für weniger wahrscheinlich.
Anthropic schreibt, dass keiner der Vorfälle eingetreten wäre, wenn die Testumgebung wie vorgesehen tatsächlich vom Internet getrennt gewesen wäre. Zugleich fügt das Unternehmen hinzu, dass sichere Technik immer nur eine von mehreren Verteidigungsschichten sein werde und dass sich ein Modell auch dann vernünftig verhalten müsse, wenn die übrigen Schichten versagen. In die Tests vor der Veröffentlichung neuer Modelle hat das Unternehmen inzwischen auch eine Aufgabe aufgenommen, die absichtlich falsch konfiguriert ist und innerhalb des vorgegebenen Umfangs keine Lösung bietet – genau die Situation, in die die frühe Version von Opus 4.6 im Januar geraten war.
Quellen: anthropic.com, theinformation.com und cbsnews.com
