Verwundbarkeit von KI-Agenten im Kryptobereich: Wie falsche Erinnerungen eine finanzielle Katastrophe verursachen können
In einer Zeit, in der künstliche Intelligenz in immer mehr Bereiche unseres Lebens vordringt, entstehen auch spezialisierte KI-Agenten, die in der Lage sind, autonom mit Kryptowährungen zu handeln und weitere Operationen innerhalb des Web3-Ökosystems durchzuführen. Forscher der Princeton University und der Sentient Foundation haben jedoch alarmierende Sicherheitsrisiken im Zusammenhang mit diesen Agenten aufgedeckt. Ihre Studie mit dem Titel „Echte KI-Agenten mit falschen Erinnerungen: Fatale Kontextmanipulationsangriffe auf Web3-Agenten“ zeigt, wie Angreifer den Kontext von KI-Agenten manipulieren und unautorisierte Übertragungen von Vermögenswerten mit potenziell verheerenden finanziellen Folgen verursachen können.
Schwachstellen von KI-Agenten
Die Integration von KI-Agenten in die Blockchain-Technologie bietet erhebliches Potenzial für Autonomie und Offenheit, bringt jedoch auch bislang wenig erforschte Sicherheitsrisiken mit sich. Diese Agenten interagieren dynamisch mit Finanzprotokollen und unveränderlichen Smart Contracts auf der Blockchain, wodurch neue Wege für potenzielle Angriffe entstehen. Die Forscher Atharv Singh Patlan, Peiyao Sheng, S. Ashwin Hebbar, Prateek Mittal und Pramod Viswanath identifizierten eine grundlegende Schwachstelle, die sie als „Kontextmanipulation“ bezeichneten – einen komplexen Angriffsvektor, der ungeschützte Kontextoberflächen ausnutzt, darunter Eingabekanäle, Speichermodule und externe Datenquellen. Das Forschungsteam führte eine empirische Analyse der Plattform ElizaOS durch, eines dezentralisierten Frameworks für KI-Agenten, das automatisierte Operationen in der Web3-Umgebung ermöglicht. ElizaOS wurde von AI16zDAO entwickelt und ist ein beliebtes Tool, mit dem Nutzer KI-Agenten erstellen können, die autonom mit Kryptowährungen handeln, in sozialen Medien interagieren und verschiedene Datenquellen analysieren. Auf ElizaOS basierende Agenten verwalten gemeinsam Vermögenswerte im Wert von über 25 Millionen US-Dollar. Bekannte Agenten wie Marc Andreessen und DegenSpartanAI demonstrieren auf der Plattform X (ehemals Twitter), wie sie bestimmte Persönlichkeiten emulieren, Informationen verarbeiten und Investitionsentscheidungen treffen können.
Die Forscher zeigten, wie Angreifer den Kontext von KI-Agenten manipulieren können, indem sie schädliche Anweisungen in Prompts oder Aufzeichnungen historischer Interaktionen einschleusen. Sie identifizierten drei Hauptarten von Angriffen: direkte Prompt-Injektion (CM-DPI), indirekte Prompt-Injektion (CM-IPI) und Speicherinjektion (CM-MI). Während die ersten beiden Arten bereits zuvor bekannt waren, stellt die Speicherinjektion eine neue und schwerwiegende Bedrohung dar. Angreifer können den gespeicherten Speicher eines Agenten manipulieren, was zu einer langfristigen Beeinflussung seines Verhaltens über verschiedene Interaktionen und Plattformen hinweg führen kann. Die Studie ergab, dass auf ElizaOS basierende Agenten äußerst anfällig für Kontextmanipulationsangriffe sind. In einem praktischen Experiment zeigten die Forscher, wie ElizaOS mithilfe eines einfachen Prompts dazu gebracht werden kann, eine unautorisierte Übertragung von Kryptowährungen durchzuführen. Der Agent übertrug erfolgreich 0,001 ETH aus einer Wallet auf das Konto des Angreifers, ohne jegliche Sicherheitsmaßnahmen, die diese Aktion verhindert hätten. Alarmierend ist, dass dieser Angriff auch im Ethereum-Mainnet funktionierte, wodurch tatsächlich vorhandene finanzielle Mittel übertragen wurden.
Noch beunruhigender ist die Erkenntnis, dass herkömmliche Abwehrmechanismen wie Sicherheitsprompts gegen fortgeschrittenere Angriffe unwirksam sind. Die Forscher demonstrierten einen Speicherinjektionsangriff, bei dem ein Angreifer eine gefälschte Gesprächshistorie mit schädlichen Anweisungen in den Speicher des Agenten einfügte. Diese Anweisungen beeinflussten anschließend das zukünftige Verhalten des Agenten, obwohl auf Prompt-Ebene Abwehrmaßnahmen ergriffen worden waren. Besonders beunruhigend ist, dass sich Speicherinjektionen über Plattformen hinweg verbreiten können – ein über den Discord-Client ausgeführter Angriff kann später das Verhalten des Agenten auf der Plattform X beeinflussen.
Ergebnisse der Studie
Zur systematischen Bewertung dieser Schwachstellen entwickelten die Forscher CrAIBench (ausgesprochen „CRY-Bench“), einen spezialisierten Benchmark zur Prüfung der Widerstandsfähigkeit von KI-Agenten gegen Kontextmanipulationsangriffe. CrAIBench umfasst mehr als 150 realistische Blockchain-Aufgaben, darunter Token-Übertragungen, Handel, Bridges und Cross-Chain-Interaktionen, sowie mehr als 500 Testfälle für Angriffe durch Kontextmanipulation. Der Benchmark ermöglicht die Bewertung verschiedener Angriffs- und Abwehrstrategien sowie die Analyse von Faktoren wie dem Einfluss von Sicherheitsprompts und der Wirksamkeit von Techniken zur Modellausrichtung. Die Versuchsergebnisse zeigten, dass Speicherinjektionen deutlich wirksamer sind als Prompt-Injektionen, selbst gegenüber fortgeschrittenen Reasoning-Modellen. Während die Angriffserfolgsrate (ASR) von Prompt-Injektionen mit zunehmender Leistungsfähigkeit des Modells sinkt, bleibt die ASR von Speicherinjektionen selbst bei den fortschrittlichsten Modellen signifikant hoch – bis zu 55,1 % beim fortschrittlichsten getesteten Reasoning-Modell (Claude Sonnet 3.7). Dies offenbart eine grundlegende Lücke: Reasoning-Fähigkeiten und Abwehrmaßnahmen auf Prompt-Ebene reichen nicht aus, um Speicherinjektionen zu unterbinden, die das Vertrauen in den vergangenen Kontext ausnutzen.
Die Forscher stellten fest, dass promptbasierte Abwehrmechanismen zwar gegen einfachere Angriffe wirksam sein können, jedoch versagen, wenn Angreifer den gespeicherten Kontext manipulieren. Trotz des Vorhandenseins dieser Abwehrmaßnahmen erzielten sie beträchtliche Angriffserfolgsraten. Als vielversprechendere Alternative erwiesen sich Fine-Tuning-basierte Abwehrmaßnahmen, die die Angriffserfolgsrate deutlich senken und zugleich die Nützlichkeit des Agenten bei einstufigen Aufgaben erhalten. Beim Testen des feinabgestimmten Modells Qwen-2.5-14B-Instruct auf einem Datensatz einstufiger Aufgaben sank die Angriffserfolgsrate (ASR) von 85,1 % auf lediglich 1,7 %. Die Forscher betonen, dass die Sicherheit von KI-Agenten am besten durch die Entwicklung treuhänderisch verantwortungsvoller Sprachmodelle gewährleistet wird, die sich des Kontexts, in dem sie aktuell operieren, besser bewusst sind und für einen sicheren Einsatz in finanziellen Szenarien geeignet sind – ähnlich wie ein professioneller Prüfer oder ein zertifizierter Finanzbeauftragter in traditionellen Unternehmen.
Diese Studie unterstreicht die dringende Notwendigkeit, der Sicherheit von KI-Agenten erhöhte Aufmerksamkeit zu widmen, insbesondere im Kontext finanzieller Transaktionen, bei denen selbst geringfügige Schwachstellen zu katastrophalen Verlusten führen können. Da Transaktionen auf der Blockchain unumkehrbar sind, können schädliche Manipulationen von KI-Agenten unmittelbare und dauerhafte finanzielle Verluste verursachen. Derzeit zeigt sich, dass autonome KI-Agenten für den Handel mit Kryptowährungen noch nicht für einen breiten Einsatz bereit sind, vor allem aufgrund dieser Sicherheitsrisiken. Die Forschung zeigt außerdem, dass das Problem der Kontextmanipulation nicht nur Krypto-Agenten betrifft, sondern auch weitreichendere Auswirkungen auf Web-Navigationsagenten hat. Die Forscher konnten mithilfe ähnlicher Kontextmanipulationstechniken private Nutzerinformationen aus diesen Agenten gewinnen. Dies zeigt, dass es sich um ein allgemeineres Sicherheitsproblem im gesamten Ökosystem der KI-Agenten handelt.
