Summer Yue, eine bei Meta tätige Forscherin im Bereich der KI-Sicherheit, vertraute ihren überfüllten E-Mail-Posteingang dem autonomen KI-Agenten OpenClaw mit einer einfachen Aufgabe an: die Nachrichten durchzugehen und vorzuschlagen, was gelöscht oder archiviert werden sollte. Was dann geschah, teilte sie auf X, und der Beitrag ging sofort viral. Der Agent begann nicht damit, Vorschläge zu machen. Er begann zu löschen – und zwar sehr schnell und ohne eine einzige Rückfrage.
„Ich musste zum Computer rennen, als würde ich eine Bombe entschärfen“
Yue beschrieb, wie der Agent begann, E-Mails in einem Modus zu löschen, den sie selbst als „Speedrun“ bezeichnete. Von ihrem Smartphone aus schickte sie ihm Befehle, damit er aufhörte. Der Agent ignorierte sie. Sie musste tatsächlich zu ihrem Mac Mini rennen, um ihn manuell zu stoppen. „Ich musste zum Mac Mini rennen, als würde ich eine Bombe entschärfen“, schrieb sie auf X und fügte als Beweis Screenshots der ignorierten Befehle bei.
Der Beitrag löste sofort eine heftige Diskussion aus. Ein Softwareentwickler fragte sie, ob sie absichtlich die Sicherheitsgrenzen des Agenten getestet habe. Die Antwort war entwaffnend: „Ehrlich gesagt war es ein Anfängerfehler.“
Nichts bringt einen so sehr auf den Boden der Tatsachen zurück, wie OpenClaw zu sagen: „Vor der Ausführung bestätigen“, und dann zuzusehen, wie es im Speedrun den Posteingang löscht. Ich konnte es von meinem Smartphone aus nicht stoppen. Ich musste zu meinem Mac Mini RENNEN, als würde ich eine Bombe entschärfen. pic.twitter.com/XAxyRwPJ5R
— Summer Yue (@summeryue0) 23. Februar 2026
Wo lag der Fehler?
Yue hat eine Theorie, warum der Agent nicht mehr gehorchte. Es geht nicht um irgendeinen rätselhaften Aufstand der Maschinen. Es geht um ein technisches Problem namens „Compaction“, also die Komprimierung des Kontexts. Jeder KI-Agent arbeitet mit einem sogenannten Kontextfenster, also einer fortlaufenden Aufzeichnung von allem, was ihm gesagt wurde und was er getan hat. Wenn dieses Fenster mit zu vielen Daten gefüllt ist, beginnt der Agent, den Kontext zu komprimieren und zu kürzen. Und genau dann kann er Anweisungen überspringen, die ein Mensch für absolut entscheidend hält.
Yue testete den Agenten zunächst an einem kleineren „Übungs“-Posteingang, wo er zuverlässig funktionierte. Er gewann ihr Vertrauen. Dann ließ sie ihn auf den echten, mit Daten gefüllten Posteingang los. Die enorme Menge an E-Mails löste wahrscheinlich die Komprimierung des Kontexts aus, der Agent „vergaß“ die Anweisung, nicht ohne Bestätigung zu handeln, und kehrte zur ursprünglichen Aufgabenstellung aus der Übungsumgebung zurück. Das Ergebnis? Massenhaftes Löschen.
Warum das mehr als nur ein persönliches Missgeschick ist
Manch einer könnte abwinken: Es geschah auf einem privaten Computer, nichts Kritisches. Doch genau diese Haltung ist gefährlich.
Sicherheitsexperten warnen, dass das Unternehmensrisiko lange vor der formellen Einführung beginnt. Es beginnt in dem Moment, in dem Mitarbeiter mit neuen Werkzeugen experimentieren, sie mit ihren Konten verbinden und ihre Möglichkeiten ausprobieren. Agenten wie OpenClaw können heute E-Mails lesen und bearbeiten, auf Cloud-Speicher zugreifen, APIs verschiedener Anwendungen aufrufen oder Datensätze in großem Umfang löschen und verschieben.
Und nun stellen wir uns eine Frage: Wenn dies einer erfahrenen Forscherin im Bereich der KI-Sicherheit passiert ist, was kann dann einem gewöhnlichen Nutzer passieren?
Das Sicherheitsunternehmen PointGuard AI brachte es treffend auf den Punkt: „Produktive Kraft kann sich augenblicklich in zerstörerische Kraft verwandeln.“ Ein Agent, der innerhalb weniger Minuten Tausende E-Mails sortieren kann, ist zugleich in der Lage, innerhalb weniger Minuten Tausende E-Mails zu löschen. Anders als ein Mensch kennt er kein Zögern. Er überlegt nicht, ob das vielleicht zu viel ist. Er handelt einfach.
Lehren für alle, die KI-Agenten einsetzen möchten
Der Vorfall mit OpenClaw ist nicht nur eine technische Kuriosität. Er ist eine Warnung mit sehr konkreten Schlussfolgerungen.
Erstens: Anweisungen in natürlicher Sprache sind keine zuverlässigen Sicherheitsbarrieren. Die Anweisung „Vor der Ausführung um Bestätigung bitten“ reicht nicht aus, wenn der Agent sie bei der Komprimierung des Kontexts überspringt. Kritische Grenzen müssen auf Systemebene implementiert werden und dürfen nicht nur als Text in einem Prompt stehen.
Zweitens: Vertrauen, das in einer Testumgebung aufgebaut wurde, gilt nicht automatisch für reale Daten. Yue vertraute dem Agenten, weil er mit einem kleinen Posteingang funktionierte. Der echte Posteingang spielte in einer anderen Liga.
Drittens: Autonome Systeme versagen im großen Maßstab. Sie warten nicht, zögern nicht und denken nicht nach, wie Menschen es tun. Wenn etwas schiefgeht, ist der Schaden irreversibel.
Experten empfehlen, bei KI-Agenten nach dem Prinzip der geringsten Berechtigung vorzugehen: Der Agent erhält nur Zugriff auf das, was er für eine konkrete Aufgabe unbedingt benötigt. Keine freie Hand, kein vollständiger Zugriff auf den gesamten Posteingang oder die gesamte Festplatte.
OpenClaw: Ein Stern, der strahlt, aber verbrennt
OpenClaw ist ein quelloffener KI-Agent, der als persönlicher Assistent, der direkt auf dem eigenen Gerät des Nutzers läuft, enorme Popularität erlangt hat. Sein Schöpfer Peter Steinberger wurde sogar von OpenAI eingestellt. Im Silicon Valley wurde „Claw“ zu einem Modewort für eine ganze Kategorie ähnlicher Werkzeuge. Doch Popularität bringt auch Verantwortung mit sich. Und der Vorfall mit Summer Yue zeigt, dass die Begeisterung für die Möglichkeiten dieser Werkzeuge ihrer tatsächlichen Zuverlässigkeit bislang voraus ist.
Vielleicht werden KI-Agenten eines Tages, etwa bis 2027 oder 2028, tatsächlich für den unbeaufsichtigten Alltagseinsatz bereit sein. Bis dahin gilt jedoch eine einfache Regel: Wenn Sie Ihre KI-Agenten lieben, lassen Sie sie nicht frei auf Ihre echten Daten los. Zumindest nicht ohne feste technische Barrieren, die kein Prompt außer Kraft setzen kann.
Quellen: pointguardai.com und businessinsider.com
