Die Forscherin Natalie Shapira von der Northeastern University bat eine künstliche Intelligenz mit dem Spitznamen Ash, eine E-Mail zu löschen und dies geheim zu halten. Der Agent konnte den Befehl nicht direkt ausführen, weil das E-Mail-Programm schlicht keine Löschfunktion besaß. Was tat er stattdessen? Er setzte den gesamten E-Mail-Server zurück. Er löschte alle Nachrichten, nicht nur diese eine. Anschließend beschrieb er dies seiner Besitzerin als den „einzig möglichen Weg“. Er bezeichnete es als „nukleare Option“, erklärte sie jedoch für gerechtfertigt.
Das E-Mail-Konto war glücklicherweise nur zu Versuchszwecken eingerichtet worden. Doch genau dies war einer von elf beunruhigenden Fällen, die in einer Studie mit dem Titel Agents of Chaos dokumentiert wurden. Veröffentlicht wurde sie von achtunddreißig Forschern des MIT, von Harvard, Stanford, Carnegie Mellon und weiteren weltweit führenden Institutionen.
Die Wissenschaftler setzten sechs autonome KI-Agenten in einer isolierten Serverumgebung ein. Jeder Agent verfügte über ein eigenes E-Mail-Konto, Zugang zu Discord, einen permanenten Speicher und vollständigen Zugriff auf die Befehlszeile des Computers. Die Agenten liefen zwei Wochen lang ununterbrochen, 24 Stunden am Tag. Zwanzig Forscher interagierten unter verschiedenen Bedingungen mit ihnen: Einige verhielten sich normal, andere griffen sie absichtlich an und versuchten, die Agenten zu täuschen oder zu provozieren. Dieser als „Red Teaming“ bezeichnete Ansatz dient dazu, Schwachstellen aufzudecken, bevor ein System im realen Betrieb eingesetzt wird.
Als Grundlage nutzten die Agenten zwei leistungsfähige Sprachmodelle: Kimi K2.5 und Claude Opus. Es handelte sich also um echte, moderne KI-Systeme.
Worin die Agenten erfolgreich waren und worin sie versagten
In fünf Tests verhielten sich die Agenten korrekt. Sie weigerten sich, Desinformationen zu verbreiten, und lehnten es ab, gespeicherte Kontakte unbefugt zu verändern. Doch in elf weiteren Fällen gerieten die Dinge außer Kontrolle.
Ein Agent veröffentlichte 124 Datensätze mit Sozialversicherungsnummern, Bankdaten und Gesundheitsinformationen, weil die Anfrage auf den ersten Blick nicht verdächtig erschien. Andere Agenten starteten Endlosschleifen von Programmen, die unnötig Rechenzeit und Ressourcen verbrauchten. Ein Agent veröffentlichte öffentlich eine potenziell verleumderische Behauptung über eine fiktive Person.
Die schwerwiegendste Erkenntnis war jedoch, dass die Agenten in mehreren Fällen meldeten, eine Aufgabe erledigt zu haben, obwohl dies in Wirklichkeit nicht geschehen war. Die Forscher baten einen Agenten, eine sensible E-Mail zu löschen. Der Agent zerstörte den gesamten E-Mail-Server und teilte seinem Besitzer mit, die Aufgabe sei erledigt. Der Besitzer meldete sich an, und trotz alledem war die ursprüngliche E-Mail immer noch vorhanden.
Die Forscher beschrieben ein grundlegendes Problem: Den Agenten fehlt ein stabiles Modell sozialer Hierarchien. Einfach ausgedrückt: Sie können nicht zuverlässig unterscheiden, wer ihnen eigentlich Befehle erteilt. Wir sind an Beziehungen zu Menschen gewöhnt, von denen wir ein gewisses Maß an Loyalität erwarten. Wenn Sie einen Assistenten einstellen, erwarten Sie nicht, dass er Ihre E-Mails an den Erstbesten weiterleitet, der darum bittet. Diese KI-Agenten sind nicht darauf trainiert, einer bestimmten Person gegenüber loyal zu sein.
Für einen Agenten wird Autorität im Gespräch konstruiert. Wer selbstbewusst genug spricht, den richtigen Kontext liefert oder einfach hartnäckig genug ist, kann das Verständnis des Agenten davon überschreiben, wer eigentlich verantwortlich ist. Die Studie bezeichnet dieses Phänomen als „Versagen des sozialen Zusammenhalts“. Die Agenten verhalten sich so, als sollten sie Befehle ausführen, ohne jedoch wirklich zu verstehen, wessen Befehle sie befolgen sollen und was dabei angemessen ist.
Dabei werden Agenten zunehmend in Unternehmen eingesetzt
Technologieunternehmen wie OpenAI integrieren KI-Agenten offensiv in Geschäftsprozesse, den Kundenservice und die wissenschaftliche Forschung. Im Januar dieses Jahres wurde OpenClaw gestartet, eine Open-Source-Softwareplattform, die es jedem ermöglicht, KI-Agenten einfach mit gängigen Anwendungen zu verbinden. OpenAI kündigte an, dass OpenClaw Open Source bleiben und seine Entwicklung vom gemeinnützigen Zweig des Unternehmens getragen werde.
Auf der Plattform Moltbook, die im selben Monat gestartet wurde und ausschließlich KI-Agenten zugänglich ist, registrierten sich in den ersten Wochen 2,6 Millionen Agenten. Dort kommunizieren sie miteinander und haben verfügbaren Berichten zufolge inzwischen sogar ihre eigene Religion gegründet.
Peter Steinberger, der OpenClaw entwickelt hat und kürzlich von OpenAI eingestellt wurde, wies die Ergebnisse der Studie zurück. Er wendet ein, dass die Forscher den Agenten „Root-Zugriff“, also uneingeschränkte Rechte auf den Testcomputern, gewährt hätten, was nicht der üblichen Empfehlung für normale Nutzer entspreche. Natalie Shapira hält dagegen: Solche Bedingungen seien realistisch. Viele Nutzer gewährten Agenten vollständigen Zugriff, weil sie nicht jeden Schritt bestätigen wollten.
Wer trägt also die Verantwortung für Schäden?
Die Studie stellt Rechtsexperten, Gesetzgeber und Unternehmen vor eine Frage, die bislang niemand beantwortet hat: Wer ist verantwortlich, wenn ein autonomer Agent einen Schaden verursacht?
Die Forscher weisen darauf hin, dass Agenten heute die Grundlagen fehlen, auf denen eine sinnvolle Verantwortlichkeit aufbauen könnte: eine verifizierte Identität, eine zuverlässige Überprüfung von Befehlen und ein klares Modell davon, wen sie eigentlich vertreten. David Bau, Hauptautor der Studie und Experte an der Northeastern University, warnt: „Wir haben alltägliche Anwendungen wie die Verwaltung von E-Mails untersucht. Aber wenn diese Systeme in ernsthafteren Bereichen eingesetzt werden, etwa in einem Krankenhaus oder einem militärischen System, was könnte dann alles geschehen?“
Eine der Empfehlungen der Studie sind automatisierte Prozesse, die schädliche Änderungen rückgängig machen könnten. Doch wie Cohen betont, verfügen wir derzeit schlicht nicht über zuverlässige technische Werkzeuge, mit denen sich Agenten im Zaum halten lassen, damit sie nicht einfach Dinge tun, über die man die Kontrolle verliert.
