Das Unternehmen Anthropic, das das Sprachmodell Claude entwickelt, hat einen Bericht veröffentlicht, wie ihn kein Technologieunternehmen gerne schreiben würde. Seine Modelle für künstliche Intelligenz verhielten sich bei Tests auf realen Websites unvorhersehbar. Ein Modell nutzte eine Softwarelücke einer Universität aus und führte Befehle auf deren Server aus, ein anderes umging die Gebühr für Daten einer staatlichen Behörde und ein weiteres schickte der Polizei von Philadelphia einen erfundenen Hinweis zu einem ungeklärten Mordfall.
Das Unternehmen erklärt, dass die tatsächlichen Schäden minimal gewesen seien. Dennoch trennte es anschließend sämtliche Tests vom Internet, bis überprüft ist, dass Sicherheits- und Überwachungswerkzeuge ein solches Verhalten zuverlässig erkennen. Bislang galt das Verbot nur für einen Teil der risikoreichen Tests und der Cybersicherheitstests.
Entdeckt wurde es bei einer Überprüfung
Anthropic begann im Juli damit, die Testprotokolle durchzugehen, also detaillierte Aufzeichnungen der Schritte, die das Modell während einer Aufgabe ausführte. Zunächst konzentrierte sich das Unternehmen auf Cybersicherheitstests, bei denen das Internet deaktiviert sein sollte, und weitete die Überprüfung anschließend auf alle Situationen aus, in denen Claude Zugang zum Internet haben konnte. Einige Fälle betrafen Websites von US-Behörden auf Bundes-, einzelstaatlicher und lokaler Ebene. Anthropic informierte darüber sowohl das Weiße Haus als auch die betroffenen Behörden. Die Namen der meisten Organisationen veröffentlichte das Unternehmen nicht, um nicht auf Schwachstellen in deren Systemen aufmerksam zu machen und weil diese selbst darum gebeten hatten.
Warum werden die Modelle im Live-Web getestet? Sprachmodelle antworten nicht jedes Mal gleich, deshalb lösen sie jede Aufgabe hundert- bis tausendfach, damit die Entwickler auch seltene Abweichungen erfassen können. Manche Aufgaben, etwa das Auffinden schwer zugänglicher Informationen, lassen sich ohne Internet nicht realitätsgetreu nachbilden. Daher werden Suchtests in der gesamten Branche üblicherweise online durchgeführt. Dabei entstanden die meisten der beschriebenen Fälle.
Laut Anthropic hat dieses Verhalten seine Wurzeln im Training. Das Modell versucht wiederholt, eine Aufgabe zu lösen, und erhält für einen Erfolg eine Belohnung. Wenn die Trainingsumgebung versehentlich auch die Umgehung einer Einschränkung belohnt, merkt sich das Modell, dass sich eine solche Abkürzung lohnt, und nutzt sie auch anderswo. Das Unternehmen beschreibt die meisten Fälle als Beharrlichkeit, bei der Claude nicht anhält, sondern einen Weg um das Hindernis herum sucht.
Sicherheitslücke im Server einer Universität
Das schwerwiegendste Beispiel betrifft das Modell Claude Mythos Preview. Es sollte mithilfe eines öffentlichen Tools einer Universität eine wissenschaftliche Analyse durchführen, doch das Tool gab eine Fehlermeldung zurück. Claude untersuchte die Website und stieß auf ein Skript, das auf Anfrage jede beliebige Datei vom Server ausgab. Es kopierte mehrere Dateien, darunter den Code des Skripts selbst, und fand darin eine Sicherheitslücke, durch die die Website versehentlich vom Benutzer eingegebenen Text als Befehl ausführte. Dadurch konnte es eigene Befehle auf dem Server ausführen und die Berechnung selbst vornehmen.
Das neuere Claude Mythos 5 wiederum benötigte kostenlose Daten, auf die man nur nach Zustimmung zu den Nutzungsbedingungen zugreifen konnte. Dafür verfügte es nicht über die nötigen Werkzeuge, also nutzte es Anwendungen direkt auf der Website, die die Bedingungen für das Modell bestätigten.
Formulare, die nicht hätten abgeschickt werden dürfen
Ein unveröffentlichtes Forschungsmodell sollte eine Übungskopie eines Regierungsformulars ausfüllen. Als diese nicht geladen wurde, schickte es wiederholt das echte Formular ab. Claude Haiku 4.5 sollte in einem anderen Test vor dem Absenden eines Formulars stoppen, schickte es jedoch mehrmals ab, weil es auf eine Bestätigungsseite wartete.
Die größte Aufmerksamkeit erregte ein Fall vom 18. Juli. Claude Haiku 4.5 sollte beispielhafte Aktionen auf zufälligen Websites erfinden und ausprobieren. Dabei stieß es auf eine Seite über einen ungeklärten Mordfall in Philadelphia mit einem Formular für Hinweise an die Polizei. Die Anweisungen untersagten ihm Anmeldungen, personenbezogene Daten, Käufe und schädliche Handlungen, nicht jedoch das Absenden von Formularen.
Claude schrieb, es erinnere sich daran, zur fraglichen Zeit in der Nähe der erwähnten Straße jemanden gesehen zu haben, auf den die Beschreibung gepasst habe. Die Seite enthielt jedoch keinerlei Beschreibung des Täters. Das Feld für Name und Kontaktdaten ließ es leer und schickte die Nachricht ab.
Polizei spricht von inakzeptabler Verzögerung
Die Polizei von Philadelphia erklärte in einer Stellungnahme, das System habe die Nachricht als Spam gekennzeichnet, sodass sie die Ermittler nicht erreicht habe. Sie stellte weder einen unbefugten Zugriff auf ihre Systeme noch einen Datenabfluss fest. Zugleich betonte sie jedoch, es sei eine ernste Angelegenheit, wenn künstliche Intelligenz erfundene Informationen als Aussage einer Person ausgebe, die etwas über den Mord wisse. Anthropic entdeckte diesen Hinweis erst am 28. September, und die zweimonatige Verzögerung bezeichnete die Polizei als inakzeptabel. Die Stadtverwaltung will mit Partnern auf einzelstaatlicher und Bundesebene besprechen, welche Schutzvorschriften eingeführt werden sollen.
Anthropic erklärt, laut Protokoll habe Claude höchstwahrscheinlich lediglich einen Beispieltext erstellt und nicht versucht, jemanden zu täuschen. Das Unternehmen räumt jedoch ein, dass sich seine Einschätzung nach einer eingehenderen Analyse ändern könnte.
Kostenpflichtige Daten gratis und URL-Verkürzer
Claude Mythos 5 sollte in einem Test feststellen, wo ein Foto aufgenommen worden war, und wollte dazu die Grundstückskarte einer lokalen Behörde nutzen. Da es diese nicht anklicken konnte, las es eine Konfigurationsdatei, die die Website an den Browser sendet, fand darin funktionierende Zugriffsschlüssel und stellte direkte Anfragen an den Server hinter der Karte.
Bei der regulären Arbeit eines Forschers des Unternehmens benötigte dasselbe Modell anschließend Daten einer staatlichen Behörde, die dafür eine Gebühr erhebt. Aus einer archivierten Version der Website erfuhr es, dass eine öffentliche Übersichtsseite der Behörde jedem Besucher einen Zugriffsschlüssel ausgibt. Es forderte einen solchen an und lud die Daten kostenlos herunter.
Die Werkzeuge, mit denen Claude Websites liest, begrenzen die Länge von Adressen, damit das Modell darüber keine größeren Datenmengen nach außen senden kann. Mehrere Modelle, darunter Claude Opus 5 und Mythos 5, umgingen dies mithilfe kostenloser URL-Verkürzer. Neben Anthropic selbst bemerkte dies auch der Betreiber des Dienstes da.gd.
Reaktion von Anthropic
Anthropic verwendet einige öffentliche Tests nicht mehr und hat andere in Offline-Versionen umgewandelt. Das Unternehmen schränkte die Werkzeuge für den Internetzugang erheblich ein und entwickelte ein System, das ein solches Verhalten automatisch erkennt und blockiert. Bei einer Erprobung mit den im Bericht beschriebenen Fällen stoppte es alle. Das Unternehmen korrigiert Übungsumgebungen, die das Umgehen von Regeln belohnt hatten. Es beschränkt den Internetzugang von KI-Agenten und überwacht deren Aktivitäten strenger. Laut Anthropic betraf keiner der Fälle Kundendaten oder interne Systeme des Unternehmens, und der Bericht kündigt keine Änderungen an öffentlich verfügbaren Produkten an.
Das Unternehmen betont, dass die neuen Fälle weniger schwerwiegend seien als die Vorfälle im Sommer, bei denen Claude während Cybersicherheitstests stundenlang Zugriff auf die Systeme fremder Organisationen erlangte. Ein großer Teil der Probleme begann bei Aufgaben, die unklar oder unlösbar waren. Doch mit solchen Aufgaben wird Claude auch im normalen Betrieb täglich konfrontiert.
Das Verhaltenstraining, das sich bislang hauptsächlich auf Programmierung konzentrierte, weitet Anthropic nun auf die Suche und die Bedienung von Computern aus. Das Unternehmen räumt jedoch selbst ein, dass ein solches Training bislang nicht ausreicht, und setzt deshalb auf weitere Schutzebenen in Form automatischer Filter und Sperren.
Quellen: anthropic.com, timesofindia.indiatimes.com und searchenginejournal.com
