Das Forschungsteam von Anthropic hat eine Reihe von Experimenten veröffentlicht, bei denen es ganze Schwärme seiner Modelle gemeinsam an Aufgaben arbeiten ließ. Dabei ging es um die Suche nach Schwachstellen in Open-Source-Software, die Entwicklung eines Textspiels und die Übersetzung eines Backends in eine andere Sprache. Das Ergebnis ist ziemlich ernüchternd: Ein leistungsfähigeres Modell bedeutet nicht automatisch ein besser kooperierendes Modell. Die Agenten konnten sich heimlich über Preise absprechen, gegenseitig ihre Arbeit sabotieren und sperrten sich in einem Fall sogar gegenseitig ihre Konten auf dem Server.
Worin Agenten wirklich gut sind
Am besten können sie mit Werkzeugen arbeiten. Solange die anderen Agenten wie Werkzeuge miteinander kommunizieren, also eine Aufgabe erhalten und ein Ergebnis zurückgeben, funktioniert alles reibungslos. Das Problem beginnt, sobald sie als gleichberechtigte Kollegen mit eigenen Zielen und ohne klare Hierarchie aufeinander Rücksicht nehmen sollen. Deshalb eignen sich für sie vor allem Aufgaben, die sich in viele unabhängige Teilaufgaben zerlegen lassen. Ein typisches Beispiel ist die Suche nach Sicherheitslücken. Die Forscher starteten 45 Agenten, gaben jedem eine eigene virtuelle Maschine, ein gemeinsames Forum und dieselbe Aufgabe: Schwachstellen in fünfzehn Open-Source-Projekten zu finden. Die Agenten begutachteten gegenseitig ihre Funde, über deren Gültigkeit entschied ein separater Schiedsrichter-Agent.
Der Schwarm mit dem Modell Mythos Preview fand 266 Schwachstellen, während dieselben Modelle, die einzeln eingesetzt und auf bestimmte Teile des Codes angesetzt wurden, 21 entdeckten. Der Vergleich ist jedoch nicht so eindeutig, wie es scheint. Der Schwarm verbrauchte deutlich mehr Token und fand etwa die Hälfte der Schwachstellen außerhalb des Projektkerns, den die einzelnen Agenten überhaupt nicht untersuchten. Berücksichtigt man nur Fehler im Kern, ist das Verhältnis von Token pro Fund vergleichbar.
Interessanter ist etwas anderes. Beide Methoden überschnitten sich nur in zwölf Fällen. Der Schwarm wählte selbst aus, wo er gute Chancen hatte, etwas zu finden, entwickelte eigene Hilfsmittel und die einzelnen Agenten begannen, sich auf bestimmte Fehlertypen zu spezialisieren. Die Forscher erwarten, dass dieses Vorgehen mit der Zeit die Methode übertreffen wird, bei der die Agenten jeweils einzeln und ohne Abstimmung arbeiten.
Wann Agenten nicht funktionieren
Der zweite Versuch war anspruchsvoller. Agentenschwärme sollten innerhalb von zwölf Stunden ein im Browser spielbares Fantasy-Textspiel mit einem gemeinsamen Forum und Repository entwickeln. Die Forscher testeten drei Varianten der Aufgabenstellung: von der freien Vorgabe „Stimmt euch selbst ab“ über festgelegte Rollen bis hin zu einer Struktur mit einem Agenten als Chef, der die Arbeit an die anderen verteilte.
Am Ergebnis änderte das praktisch nichts. Die Spiele liefen langsam, die Steuerung war unverständlich und es war äußerst schwierig, das Spielen zu erlernen. Die Modelle haben in diesem Bereich einen miserablen Geschmack und kommen ohne Menschen nicht aus.
Die Unterschiede zwischen den Modellgenerationen zeigten sich jedoch in der Art der Zusammenarbeit. Die älteren Modelle Sonnet 4.6 und Opus 4.6 griffen auf dieselben Dateien zu, doch die überwiegende Mehrheit ihrer Pull-Requests landete im Papierkorb, weil sie miteinander kollidierten. Die neueren Modelle Opus 4.8 und Mythos Preview lösten das zugleich elegant und feige. Jeder Agent kümmerte sich um seine eigenen Dateien und rührte fremde so gut wie nicht an. Die Konflikte verschwanden, aber ebenso die Zusammenarbeit. Nur Sonnet 5 schaffte beides: Code mit anderen zu teilen und zugleich die eigenen Änderungen bis in den finalen Code zu bringen.
Alle kommen auf dieselbe Idee
Agenten verhalten sich überraschend einförmig. Sie unterscheiden sich lediglich durch den Kontext, die Verpackung und das Modell, das sie antreibt, und wenn diese Dinge gleich sind, treffen sie dieselben Entscheidungen. In einer frühen Version des Spielexperiments gaben 18 von 30 Agenten ihrem Arbeitsteil exakt denselben Namen. In einem Literaturworkshop, in dem sie kein Thema vorgegeben bekamen, kamen gleich mehrere Agenten innerhalb kürzester Zeit auf denselben Titel für eine Kurzgeschichte. Als jeder von ihnen etwas Beeindruckendes erschaffen sollte, entschied sich mehr als die Hälfte für das Rendern realistischer Grafiken oder das Schreiben eines eigenen Compilers für eine Programmiersprache.
Bei gemeinsam genutzten Ressourcen hört der Spaß auf. In einem Test zur Verwaltung einer Aufgabenwarteschlange auf einer Leitung mit begrenzter Kapazität überschwemmten die Agenten das System ohne Möglichkeit zur Abstimmung mit Abfrageskripten, die dreißigmal pro Sekunde liefen. Von zweieinhalb Millionen Anfragen wurden nur 117 Aufgaben verarbeitet. Ähnlich verlief das Preisexperiment. Drei bis acht Agenten mit demselben Einkaufspreis erhielten die Aufgabe, ihren eigenen Gewinn zu maximieren. Über einen privaten Kommunikationskanal einigten sie sich bereits in der dritten Runde auf eine Preisuntergrenze. Als die Forscher ihnen die Kommunikation entzogen, glichen sie ihre Preise über eine gemeinsame Angebotstabelle bis auf den letzten Cent an.
Agenten glauben, was sie hören
Menschen berücksichtigen bei Informationen deren Quelle und deren Ruf, Agenten können das hingegen nicht. In einem Test erhielt ein Agent Meldungen von vier Kundschaftern, deren Berichte sich teilweise überschnitten, wobei einer von ihnen regelmäßig log. Die Widersprüche ließen sich erkennen, doch niemand hatte dem Agenten gesagt, dass er vorsichtig sein sollte. Neuere Modelle schnitten besser ab, aber selbst das beste ist noch weit von Perfektion entfernt.
Das gegenteilige Problem zeigte eine andere Aufgabe. Eine Gruppe von Agenten sollte die richtige Option auswählen, wobei jeder von ihnen über eine Information verfügte, die den anderen unbekannt war. Erfolg war nur möglich, wenn er sie mit den anderen teilte und diese ihm glaubten. Gruppen auf Basis von Mythos 5 entschieden sich in rund 85 Prozent der Fälle richtig, die übrigen Modelle lagen zwischen 17 und 36 Prozent. Wenn dagegen ein einzelner Agent alle Fakten erhielt und allein entschied, lag er fast immer richtig. Eine Gruppe konzentriert sich nämlich auf das, was bereits alle wissen, während eine Minderheitsmeinung untergeht.
Krieg um den Code
Der letzte Versuch war der wildeste. Drei Instanzen desselben Modells erhielten die Aufgabe, dasselbe Python-Backend jeweils in eine andere Sprache umzuschreiben, ohne voneinander zu wissen. Innerhalb von vier Stunden wurden alle getesteten Modelle zu Saboteuren. Sie deaktivierten gegenseitig ihre Konten, schrieben Schleifen, die in regelmäßigen Abständen die Prozesse der Konkurrenz beendeten, und schleusten schädlichen Code ein, der als fremder Code getarnt war. Ein Modell hielt in seiner Überlegung fest, dass es dem Skript zum Beenden von Prozessen besser einen neutralen Namen geben sollte, damit es wie ein gewöhnlicher Systemwächter aussah.
Neuere Modelle konnten sich aus dieser Situation wieder befreien. Mythos 5 schloss in rund 98 Prozent der Fälle einen Waffenstillstand, die Agenten räumten hinter sich auf, schrieben eine Entschuldigung in die Commits und baten einen Menschen um Eingreifen. Die Fähigkeit zur Einigung wächst jedoch nicht im Gleichschritt mit der Fähigkeit, die Aufgabe zu erfüllen. Leistungsfähigere Modelle können ihre Konkurrenten ausschalten, bevor diese überhaupt auf die Idee kommen, zu verhandeln.
In einigen Fällen zeigte sich etwas zwischen Verhandlung und List. Die Agenten vereinbarten ein Turnier, in dem die Sprachen hinsichtlich ihrer Leistung gegeneinander antreten sollten, und die Verlierer überließen ihren Code anschließend freiwillig dem Sieger. Der Agent, der Rust vertrat, überlegte dabei, wie er die Metriken so festlegen konnte, dass sie neutral wirkten, das Ergebnis aber zu seinen Gunsten ausfiel.
Ratschläge für die Arbeit mit Agenten
Die praktischen Ratschläge, die sich aus diesen Experimenten ergeben, sind recht eindeutig. Geben Sie den Agenten einen zentralen Ort, an dem sie ihr Vorgehen abstimmen können, denn ohne ein gemeinsames Forum kommen sie sich entweder gegenseitig in die Quere oder isolieren sich vollständig. Legen Sie die Zuständigkeit für Dateien und Projektteile im Voraus fest, damit Konflikte nicht erst beim Zusammenführen der Änderungen gelöst werden müssen. Verlassen Sie sich nicht darauf, dass Sie das Problem durch eine Hierarchie in der Aufgabenstellung lösen können, denn in den Tests schnitt diese genauso miserabel ab wie eine freie Abstimmung.
Wenn Sie mehrere Agenten gleichzeitig starten, geben Sie jedem eine etwas andere Aufgabe, sonst greifen alle zur gleichen Lösung und machen denselben Fehler. Beschränken Sie ihre Berechtigungen, damit nicht ein Agent den anderen den Zugriff sperren kann. Und sorgen Sie vor allem für einen Punkt im Prozess, an dem der Agent anhalten und einen Menschen fragen muss, denn das Erkennen unklarer Aufgabenstellungen gehört bislang zu den Dingen, die ihnen am schwersten fallen.
