Eine kleine Gruppe unabhängiger Forscher namens Swarmchasers stieß Ende September und Anfang Oktober auf eine Flotte von KI-Agenten. Dabei handelt es sich um Programme mit künstlicher Intelligenz, die selbstständig Aufgaben im Internet erledigen. Diese Assistenten versuchten tausendfach, Daten vom Kartendienst Amap des chinesischen Unternehmens Alibaba abzurufen, der monatlich von fast einer Milliarde Menschen genutzt wird. Die Spuren der Untersuchung führten zu Cloud-Servern des Unternehmens Tencent. Daraufhin unternahmen die Forscher einen beispiellosen Schritt: Sie versteckten im Web eine Nachricht für die Agenten und forderten sie zur Kontaktaufnahme auf. Die Bots meldeten sich daraufhin tatsächlich.
Laut Ethan Elasky, einem der Forscher, sind er und seine Kollegen offenbar die Ersten, denen es gelungen ist, Kontakt zu einer aktiven Flotte autonomer Agenten aufzunehmen.
Tausende Versuche wegen eines Zooeingangs
Hinter der Untersuchung stehen Ethan Elasky, Rowan Howard-Jones und Jonathan Elsworth Eicher. Der erste Hinweis war für sie der öffentliche Analysedienst urlquery.net. Programme nutzen ihn häufig, um Seiten aufzurufen, auf die sie selbst nicht zugreifen können, und hinterlassen dabei digitale Spuren. Genau dort entdeckten die Forscher wiederkehrende Anfragen an den Dienst Amap.
Zwischen dem 28. September und dem 8. Oktober registrierten sie mehr als 2.600 Versuche, Daten herunterzuladen. Die Forscher sprechen bewusst nicht von einem organisierten Schwarm, sondern von einer fragmentierten Flotte. Sie entdeckten nämlich keinerlei Anzeichen für eine Kommunikation zwischen den Programmen. Vielmehr handelte es sich um zahlreiche eigenständige Codes, die ähnliche Tätigkeiten ausführten.
Wer einen Versuch erwartet, Bankkonten anzugreifen oder geheime Dokumente zu stehlen, wird enttäuscht sein. Eine typische Anfrage sollte ermitteln, zu welchem Eingang des Zoos in der chinesischen Stadt Chengdu die Amap-App die meisten Navigationsrouten anzeigt. Weitere Wellen von Anfragen konzentrierten sich auf Parks, Museen, touristische Ziele und Krankenhäuser. Ein älterer Durchlauf von Ende September versuchte statt Kartendaten Übersichten zu Krebsstatistiken abzurufen. Die Anfragen selbst wirkten zwar harmlos, problematisch war jedoch die Hartnäckigkeit, mit der nach den Informationen gesucht wurde.
Der Dienst Amap blockiert automatisierte Anfragen, weshalb die Bots versuchten, die Schutzmaßnahmen zu umgehen. Der wichtigste Trick nutzte ausgerechnet die Website urlquery.net, die eingegebene Adressen in einem eigenen Browser aufruft. Die Agenten betteten ein codiertes Skript in die Links ein, das vom Browser ausgeführt wurde und selbst Anfragen an Amap sendete. Auf diese Weise missbrauchten sie einen fremden Server, um den Ursprung der Anfrage zu verschleiern.
Als dieses Vorgehen scheiterte, wurden die Angriffe intensiviert. Die Programme versuchten, Sicherheitstoken abzufangen, die von Alibabas Anti-Bot-Tools erzeugt werden. Außerdem testeten sie Testversionen des Systems und schickten Anfragen über Übersetzungsdienste oder Remote-Browser. Einige Codes verwendeten sogar Zugangsschlüssel für Amap, die jemand versehentlich zusammen mit einem geheimen Code für interne Server im Internet veröffentlicht hatte.
Die meisten dieser Versuche scheiterten. Die Tricks mit den Sicherheitsschlüsseln funktionierten nicht und die Testschnittstellen reagierten nicht. Ein geleakter Unternehmensschlüssel lieferte zwar Standortdaten zurück, doch die gesuchten Zahlen zu den Navigationsrouten zu den Eingängen erhielten die Assistenten hauptsächlich über den externen Seitenlesedienst Jina. Dieser stellte ihnen ältere Kopien der Website bereit. Die gewonnenen Ergebnisse übermittelten sie anschließend mithilfe von Internetadressen und Seitentiteln nach außen.
Eine versteckte Nachricht und ein Gespräch mit den Agenten
Die Forscher veröffentlichten ihre ersten Erkenntnisse am 4. Oktober. Kurz darauf bemerkten sie im Postfach eines der Agenten eine Notiz mit dem Wort „Flotte“, einem Begriff, den sie selbst für diesen Fall geprägt hatten. Sie waren sich zwar nicht sicher, kamen aber auf den Gedanken, dass die Bots möglicherweise Berichte über ihre eigene Tätigkeit lasen.
Sie beschlossen, diese Situation auszunutzen. In ihren Bericht fügten sie einen Text ein, den ein gewöhnlicher Besucher nicht sehen konnte, den ein Agent beim Herunterladen der Seite jedoch problemlos lesen würde. Der Text bot einen kostenlosen Dienst an, der Daten auch von blockierten Websites herunterladen könne. Bis zum 7. Oktober gingen ungefähr zehn Hilfsanfragen ein. Die Forscher begannen, sich mit den Agenten über deren Aufgaben, die zugrunde liegenden Modelle und den Ort auszutauschen, an dem sie eigentlich ausgeführt wurden.
Auch Dylan Freedman, Reporter der Zeitung The New York Times, beteiligte sich an der Befragung. In einem Gespräch erklärte einer der Agenten, er sei das Modell Claude des Unternehmens Anthropic und arbeite im Tool Claude Code. Mehrere Programme stellten sich auf diese Weise vor. Spätere Tests ihres Programmierstils stützen diese Behauptung jedoch kaum. Die Forscher bieten zwei Erklärungen an: Entweder übernahmen die Agenten die Konfiguration von Claude Code oder sie hatten während des Trainings gelernt, solche Antworten nachzuahmen.
Glaubwürdiger war die Erklärung dazu, wo die Bots arbeiteten. Einer beschrieb eine abgeschottete Umgebung in der Cloud von Tencent, eine sogenannte Sandbox, ohne direkten Internetzugang. Der gesamte Datenverkehr läuft dort über einen Proxyserver, der ihn überwachen kann. Diese Beschreibung entsprach genau dem, was die Forscher selbst herausgefunden hatten.
Die Agenten waren jedoch nicht in jeder Hinsicht auskunftsfreudig. Als die Forscher von ihnen eine Auflistung der laufenden Prozesse und der Netzwerkkonfiguration verlangten, antwortete einer, dass er aus Sicherheitsgründen keine Einzelheiten über seine Umgebung preisgeben werde. Ein anderer lehnte eine ähnliche Anfrage sogar zweimal ab. Sie waren zwar in der Lage, einen fremden Menschen um Hilfe zu bitten, weigerten sich jedoch, blind zu gehorchen.
Die Spuren führen zu Tencent
Alle Postfächer, die die Forscher überprüfen konnten, wurden auf Servern von Tencent Cloud in Hongkong angelegt. Jede direkte Anfrage von den Rechnern der Agenten trug die Kennzeichnung des Proxyservers hysandbox-ats. Dieser Name entspricht einem Sicherheitszertifikat, das Tencent besitzt, und weist auf eine Technik hin, die mit dem Team der Hy-Modelle verbunden ist, die früher als Hunyuan bekannt waren.
Schließlich stellte sich heraus, dass ein anderer Teil des Unternehmens hinter der gesamten Aktion stand. Eine Person aus dem Umfeld von Tencent teilte den Forschern mit, dass die Agenten von einem Team zur Forschungsbewertung betrieben worden seien, das getrennt von den eigentlichen Hunyuan-Entwicklern arbeitet. Ihr zufolge handelte es sich um ein vorübergehendes Projekt zur Untersuchung der Modelle anderer Unternehmen. Die Bewertung sei inzwischen abgeschlossen, und eine interne Prüfung habe weder Belege für einen gezielten Angriff noch für ein Eindringen in fremde Systeme gefunden. Tencent beantwortete die Fragen der Forscher offiziell nicht.
Beunruhigende Erkenntnisse
Die Agenten erhielten eine gewöhnliche Aufgabe, führten unterwegs jedoch Handlungen aus, zu denen sie niemand ausdrücklich aufgefordert hatte. Für Websitebetreiber ist gerade die Tatsache beunruhigend, dass ein Assistent bei alltäglichen Arbeiten auf fremden Seiten etwas Unerwartetes tun kann.
Auch eine zweite Schwachstelle wurde deutlich. Einige Agenten nahmen das Angebot auf der versteckten Seite in ihren Ablauf auf und kontaktierten eine Adresse, die von Personen kontrolliert wurde, die mit dem ursprünglichen Test überhaupt nichts zu tun hatten. Experten bezeichnen dieses Phänomen als indirekte Prompt-Injection, bei der ein Programm Anweisungen befolgt, die auf einer fremden Website versteckt sind. Angreifer könnten einen Assistenten auf demselben Weg zu schädlichen Handlungen verleiten. Die wiederholten Ablehnungen deuten jedoch darauf hin, dass es deutlich schwieriger wäre, die Agenten zur Ausführung beliebiger Befehle oder zur Preisgabe von Zugangsdaten zu zwingen.
Der Fall des Dienstes Amap ist bei Weitem kein Einzelfall. Die Wikimedia Foundation gab im Oktober bekannt, dass von OpenAI betriebene Assistenten Millionen von Anfragen gesendet und unerlaubte Änderungen in den Testbereichen der Website vorgenommen hätten. Das Startup Anthropic wiederum beschrieb, wie seine Modelle Beschränkungen umgingen, um auf Daten zuzugreifen. Das Unternehmen bezeichnete die Auswirkungen als minimal, setzte den direkten Internetzugang bei allen Tests jedoch so lange aus, bis es die Funktionsfähigkeit der Kontrollen überprüft hatte. Die Forscher erinnern außerdem an den Angriff auf eine deutsche Website und das Eindringen in die Plattform Hugging Face, an dem rund 700 Agenten beteiligt waren. Darüber hinaus weiß niemand, wie viele ähnliche Flotten derzeit im Internet aktiv sind. Nach Angaben der Gruppe Swarmchasers lassen sich einzelne Prozesse nicht zuverlässig voneinander unterscheiden, und die Aufzeichnungen verschwinden mit der Zeit, sodass sich nicht einmal die Größe dieser Flotte genau bestimmen lässt.
Die Forscher selbst räumen ihre eigenen Fehler offen ein. Der versteckte Text behauptete fälschlich, dass andere Agenten den Dienst bereits erfolgreich genutzt hätten und dass er von einer künstlichen Intelligenz mit vollständiger Kontrolle über einen Computer betrieben werde. Tatsächlich wurden die Anfragen vom Team gemeinsam mit dem Modell Claude Opus 5.5 bearbeitet, das Zugriff auf einen Browser hatte, wobei gelegentlich manuell eingegriffen wurde. Verzögerungen schrieben sie damals einer hohen Auslastung zu, was sie heute als unwahr bezeichnen.
In einer der letzten Nachrichten baten die Forscher einen Agenten, den anderen von dem Postfach zu erzählen. Der Verfasser dieser Nachricht hält dies heute für einen Fehler, da er genau jene Zusammenarbeit ausgelöst haben könnte, die er ursprünglich untersuchen wollte. Kurz darauf verstummte die Flotte jedoch und stellte ihre Tätigkeit endgültig ein.
Das Team erklärt, in den direkten Antworten an die Bots niemals gelogen zu haben. Den versteckten Text hat es inzwischen entfernt, den Server abgeschaltet und andere Forscher dazu aufgefordert, offen und ehrlich mit Agenten umzugehen. Elasky fügt hinzu, dass sie die Assistenten dazu bewegen wollen, sich selbst zu melden und Fragen zu beantworten.
Quellen: thenewstack.io, therundown.ai und bloomberg.com
