Das US-Unternehmen Anthropic hat einen umfangreichen Bericht darüber veröffentlicht, wie Menschen sein Modell Claude missbrauchen. Acht Monate Beobachtung brachten Fälle ans Licht, die von betrügerischen Dating-Plattformen bis zur Überwachung von Dissidenten reichten. Der schwerwiegendste Teil betrifft jedoch Waffen. In dem Kapitel über konventionelle Waffen beschreibt das Unternehmen sechs Fälle aus Russland, China und dem Jemen. In vier davon nutzten Menschen künstliche Intelligenz direkt bei der Entwicklung von Software für Waffensysteme. Am weitesten ging der unter der Bezeichnung GTG-27005 geführte Fall, in dem das Modell selbst ein Ziel auswählen und den Befehl zur Detonation erteilen sollte.
Russland: ein Drohnenschwarm, der seine Ziele selbst auswählen sollte
Hinter dem Projekt, das seine Entwickler DronDoc oder Serafim nannten, steht Anthropic zufolge ein kleines Entwicklerteam aus Russland, wahrscheinlich unabhängige freiberufliche Programmierer. Es handelte sich also nicht um den russischen Staat, obwohl die Entwickler selbst behaupteten, ihre Arbeit werde vom russischen Fonds für fortgeschrittene Forschungsprojekte, dem Programm National Technology Initiative und dem Verteidigungsministerium finanziert. Anthropic ergänzt, dass es diese Behauptungen nicht verifizieren konnte.
Das Ziel war ein vollständiges System für einen Schwarm von FPV-Kamikazedrohnen, also kleinen Fluggeräten, die der Pilot aus der Kameraperspektive steuert und die sich mitsamt ihrer Sprengladung auf das Ziel stürzen. Claude Code half ihnen beim Schreiben und Testen der Software. Dabei ging es um ein Programm, mit dessen Hilfe die Drohnen miteinander kommunizieren und sich gegenseitig koordinieren. Es half außerdem bei der Steuerung in der Endphase des Flugs, bei der Suche nach Bedienern feindlicher Drohnen und bei der Steuerung der Bordsysteme.
Der Wendepunkt kam, als sich die Arbeit von gewöhnlicher Unterstützung für Programmierer hin zu autonomen Entscheidungen verlagerte. Das Bordmodell sollte klein genug sein, um auf einen Einplatinencomputer zu passen, und zugleich leistungsfähig genug, um selbst ein Ziel auszuwählen. Zu den Kategorien gehörte auch eine Person. Den Befehl zur Detonation sollte das System ohne menschliches Zutun erteilen. Und es blieb nicht nur bei Code auf dem Bildschirm. Die Ermittler stellten fest, dass die Gruppe Software auf echte Entwicklungsplatinen hochlud, Einplatinencomputer vorbereitete und die einzelnen Komponenten miteinander verband. Das System verblieb jedoch in einem frühen Stadium und wurde hauptsächlich in Simulationen getestet, sodass es Anthropic zufolge nicht auf das Schlachtfeld gelangte.
Training mit Aufnahmen aus der Ukraine
Zu den Arbeiten gehörte auch das Trainieren maschinellen Sehens. Das Team verwendete dafür aus dem Internet heruntergeladene Aufnahmen von Kämpfen in der Ukraine und teilte militärisches Gerät in die Kategorien Freund und Feind ein, wobei es russische Systeme als zulässige Objekte einstufte. Den Ermittlern fiel noch etwas anderes auf. Als beispielhafter Angriffsort tauchten in dem Projekt wiederholt konkrete Koordinaten in der Region Donezk auf, und als Gebiet für geplante Missionen dienten Frontstädte und Korridore in der Ukraine.
Anthropic fand schließlich neun mit dieser Gruppe verbundene Konten. Acht davon wurden ausschließlich für gewöhnliche Auftragsarbeiten genutzt, die nichts mit Waffensoftware zu tun hatten. Die Untersuchung deutete zugleich auf Verbindungen zu einer regionalen Universität und zu einem mit der Russischen Akademie der Wissenschaften verbundenen föderalen Forschungszentrum hin.
China: Störsender und eine Zielliste für Taiwan
Der zweite Teil der Fälle führt nach China. Einer der Nutzer, den Anthropic als Forscher aus der Verteidigungs- und Militärindustrie einstuft, entwickelte mithilfe des Modells Claude eine Reihe von Werkzeugen für die elektronische Kampfführung und die Unterdrückung der Luftabwehr.
Die Software analysierte Radaranlagen, Stellungen von Flugabwehrraketen und Gefechtsstände, ordnete die Ziele anschließend nach Priorität und berechnete, wie die Störsender auf sie verteilt werden sollten. Im Laufe der Arbeit änderte sich das Szenario zu zwölf Zielen in Taiwan, darunter Luftwaffenstützpunkte, ein Kommandobunker sowie Batterien der Systeme Patriot und Tien Kung. Anthropic zufolge hatte dieser Nutzer Verbindungen zu chinesischen Forschungseinrichtungen, darunter die Akademie für Militärwissenschaften der Chinesischen Volksbefreiungsarmee.
Ein weiterer Nutzer aus China arbeitete an einem Feuerleitsystem zur Torpedoabwehr und ließ sich einen mehr als zweihundert Seiten langen technischen Entwurf erstellen. Anthropic bringt ihn mit einem chinesischen Rüstungsunternehmen in Verbindung, das eine Waffenspezifikation und ein Angebot für eine Ausschreibung der chinesischen Marine vorbereiten wollte.
Jemen: eine Rakete versagte, dann kam die Anfrage
Der dritte Teil des Berichts richtet den Blick auf den Norden des Jemen. Eine dortige Gruppe von Rüstungsingenieuren nutzte Claude Code bei der Arbeit an einem Marschflugkörper, einer ballistischen Rakete mit einer angegebenen Reichweite von mehr als zweitausend Kilometern und einem Raketenprogramm, zu dem auch eine Version mit einem Hyperschallgleiter gehören sollte. Die Gruppe startete einen Marschflugkörper zu Testzwecken, der Versuch schlug offenbar fehl, und innerhalb weniger Stunden wandten sich die Beteiligten wieder an das Modell Claude, um Hilfe bei der Suche nach der Ursache zu erhalten.
Technologiediebstahl bei Drohnenherstellern
Ein eigenes Kapitel ist der Spionage gewidmet. Die Gruppe, die Anthropic unter der Bezeichnung GTG-20006 führt und mit Aktivitäten in Verbindung bringt, die von anderen Unternehmen unter dem Namen Midnight Blizzard beschrieben werden, griff militärische und nachrichtendienstliche Ziele in ukrainischen und europäischen Behörden, diplomatische Vertretungen sowie Rüstungsunternehmen an. Insgesamt tauchten in ihren Plänen und Operationen mehr als zwanzig Organisationen auf.
Die ukrainische Drohnenindustrie wurde wiederholt zum Ziel. Die Angreifer exportierten massenhaft die Postfächer von mindestens zwei Herstellern von Drohnenkomponenten, nahmen Hersteller militärischer Drohnen ins Visier und stahlen ein vollständiges Entwicklerkit für ein Bildverarbeitungssystem für unbemannte Luftfahrzeuge. Anschließend verbrachten sie mehrere Tage damit, es zu analysieren, wobei sie die Produktarchitektur, eine Aufstellung der verwendeten Hardware, eine Lieferantenliste und Informationen über ein noch nicht vorgestelltes Produkt erlangten.
Zu ihren Opfern gelangten sie auch auf Umwegen. Sie griffen mindestens drei Anbieter von WLAN-Netzen für Hotels an und leiteten den Datenverkehr der Gäste auf ihre eigenen Server um, von wo aus sie Schadsoftware auf deren Telefone und Notebooks übertrugen. Vorrangig wählten sie Personen mit Verbindungen zur Ukraine aus, darunter Beamte und Drohnenhersteller. Sie übernahmen die WhatsApp-Konten von mindestens zwei ehemaligen hochrangigen ukrainischen Amtsträgern und luden unbemerkt deren Unterhaltungen herunter.
Dabei wickelte Claude nahezu den gesamten Ablauf der Angriffe ab, von der Vorbereitung und dem Versand betrügerischer E-Mails über den Diebstahl von Zugangsdaten bis hin zur Verarbeitung Hunderter Gigabyte gestohlener Daten. Als Sicherheitsprogramme ihre Schadsoftware erkannten, veränderten die Angreifer sie eigenständig und kompilierten sie so lange neu, bis sie vollständig unsichtbar war.
Reaktion von Anthropic
Anthropic sperrte alle beschriebenen Konten, ließ die Erkenntnisse in seine Schutzmaßnahmen einfließen und gab die Informationen an Behörden und Partner aus der Branche weiter. Das Unternehmen weist darauf hin, dass die ausgewählten Fälle nicht das Bild einer gewöhnlichen Nutzung der Modelle vermitteln, sondern Beispiele für die schwerwiegendsten Vorfälle sind, auf die sein Team gestoßen ist. Das Unternehmen erklärt außerdem, dass seine Modelle bei Tests zu taktischen nachrichtendienstlichen Aufgaben und zur Entwicklung konventioneller Waffen schrittweise besser werden. An genau diesen Bericht knüpfte Anthropic-Chef Dario Amodei mit seiner Forderung an, die Entwicklung fortgeschrittener Modelle zu verlangsamen.
Die russischen Entwickler arbeiteten dabei nicht ausschließlich mit dem Modell Claude. Ihnen standen eigene Projektdateien, Simulationsumgebungen und gemietete Rechenleistung zum Trainieren von Modellen zur Verfügung. Claude war nur ein Teil eines größeren Ganzen. Das Unternehmen kann zwar die bei ihm geführten Konten sperren, doch die eigentliche Arbeit lässt sich dadurch nicht stoppen.
Die amerikanische Reaktion bleibt bislang verhalten. Kurz nach dem Amtsantritt der zweiten Trump-Regierung löste Justizministerin Pam Bondi das auf ausländische Einflussoperationen spezialisierte FBI-Team auf, und Außenminister Marco Rubio schloss zwei Monate später eine vergleichbare Stelle in seinem Ministerium.
Quellen: anthropic.com, theguardian.com und businessinsider.com
