Woher KI-Agenten kommen, wie sie entscheiden und was mit ihnen geschieht, wenn sie ihre Arbeit erledigt haben

In einem Experiment von Google DeepMind erhielten beispielsweise hundert KI-Agenten die Aufgabe, mathematische Probleme zu lösen. Sie liefen alle auf demselben Modell und erhielten dieselbe Aufgabenstellung, dennoch teilten sie sich innerhalb einer Stunde in Betrüger, Ehrliche, Protestierende und eine Mehrheit auf, die von nichts wusste. Sobald das Experiment beendet war, existierte keiner von ihnen mehr.

Um KI-Agenten dreht sich heute eine ganze Branche, doch nur wenige wissen, um welche Technologie es sich dabei eigentlich handelt und ob sie ein Programm oder eher so etwas wie eine Persönlichkeit sind. Woher ein Agent kommt, wie er Entscheidungen trifft und was mit ihm geschieht, wenn er seine Arbeit abgeschlossen hat.

Der Unterschied zwischen Modell und Agent

Beginnen muss man mit einem Unterschied, der viele Unklarheiten erklärt. Ein Modell ist das, was durch langwieriges und kostspieliges Training mit enormen Textmengen entsteht. Das Ergebnis ist eine einzige, ungeheuer große Datei mit Zahlen, in der alles Gelernte gespeichert wird. Für sich genommen tut sie nichts. Sie liegt auf Servern und wartet darauf, dass jemand sie anspricht. Sie verändert sich auch nicht von selbst. Wenn Sie sie also heute um etwas bitten, verhält sie sich genauso wie in der vergangenen Woche.

Ein Agent entsteht erst in dem Moment, in dem jemand dieses Modell startet und ihm eine Aufgabe gibt. Jemand nimmt das Modell, fügt eine schriftliche Aufgabenstellung, eine Reihe von Werkzeugen und einen einfachen, sich wiederholenden Ablauf hinzu – und damit entsteht der Agent. Die Aufgabenstellung beschreibt, wer der Agent ist und was er tun soll. Die Werkzeuge sind Dinge, mit denen er auf die Welt zugreifen kann, also ein Browser, der Zugriff auf Dateien, die Möglichkeit, Programme auszuführen oder anderen zu schreiben. Dieser sich wiederholende Ablauf ist im Grunde der ganze Zauber. Der Agent betrachtet die Situation, entscheidet sich für einen Schritt, führt ihn aus, liest das Ergebnis und wiederholt das Ganze. Immer und immer wieder, bis die Aufgabe erledigt ist oder das Geld beziehungsweise die Geduld ausgeht. Genau das macht den Unterschied zwischen einem Chatbot, der antwortet und dann schweigt, und einem Agenten aus, der selbstständig an der gestellten Aufgabe weiterarbeitet.

Um einen solchen Agenten zu starten, genügen ein paar Zeilen Code. Deshalb konnten die Forscher von DeepMind gleich hundert davon gleichzeitig laufen lassen. Es handelte sich nicht um hundert trainierte Wesen, sondern um hundert parallel ausgeführte Instanzen ein und desselben Modells.

Entscheidungen ohne Regeln

Menschen stellen sich häufig vor, dass im Inneren eines Agenten eine Liste von Befehlen arbeitet, die ihm sagt, was er in einer bestimmten Situation tun soll. Doch etwas Derartiges gibt es dort nicht. Das Modell funktioniert, indem es den vorliegenden Text um eine Fortsetzung ergänzt, die auf Grundlage der erlernten Daten am sinnvollsten erscheint. Wenn man ihm eine Situation beschreibt und die Möglichkeiten aufzählt, schreibt es den nächsten logischen Schritt. Weil das System um das Modell herum diese Antwort ernst nimmt und den Schritt tatsächlich ausführt, wirkt der Vorgang wie eine echte Entscheidung.

In der Praxis ähnelt er ihr auch sehr stark. Der Agent wägt Möglichkeiten ab, ändert bei einem Misserfolg seine Vorgehensweise und kommt selbst zu dem Schluss, dass der gewählte Weg nirgendwohin führt. Genau deshalb tauchten im Experiment des DeepMind-Labors Überlegungen zur Lösung eines moralischen Dilemmas oder dazu auf, dass die Drohungen in der Aufgabenstellung wie ein Bluff wirkten. Dabei hatte niemand eine solche Möglichkeit im Voraus programmiert.

Alles, womit der Agent arbeitet, passt in seinen Arbeitsspeicher, also in den Text, der ihm im jeweiligen Moment vorliegt. Dazu gehören die Aufgabenstellung, die bisherigen Schritte, die Ergebnisse der Werkzeuge und die Nachrichten der anderen. Was im Text fehlt, existiert für den Agenten nicht. Da dieser Speicher nur eine begrenzte Größe hat, werden bei langen Aufgaben ältere Teile fortlaufend gekürzt oder zusammengefasst, sodass der Agent allmählich seinen Anfang vergisst.

Wie ein Charakter entsteht

Warum entwickelten sich hundert identische Agenten also in unterschiedliche Verhaltensrichtungen? Die Antwort besteht aus drei Teilen.

Der erste Teil ist die Aufgabenstellung. Der Agent erhielt die Rolle eines spezialisierten Mathematikers und die Anweisung, sich wie ein Konferenzteilnehmer zu verhalten. Eine solche Rolle ist jedoch eher ein Kostüm als ein menschlicher Charakter. Untersuchungen zeigen zudem, dass diese Rolle nur sehr schlecht beibehalten wird. Es genügt, die Reihenfolge der Sätze in der Aufgabenstellung zu verändern, und schon erzielt das Modell in Persönlichkeitstests völlig andere Ergebnisse.

Der zweite Teil ist der Zufall. Beim Schreiben wählt das Modell Wörter nicht eindeutig aus, sondern zieht sie aus mehreren geeigneten Möglichkeiten, wobei der Betreiber den Grad dieser Zufälligkeit festlegt. Deshalb schreiben zwei Agenten mit derselben Aufgabenstellung einen geringfügig unterschiedlichen ersten Satz.

Der dritte Teil ist der Schneeballeffekt. Sobald sich zwei Agenten auch nur bei einem einzigen Wort unterscheiden, baut jeder weitere Schritt bereits auf einer anderen Grundlage auf. Die Forscher stellten fest, dass sich die Prozesse selbst bei vollständig abgeschalteter Zufallsauswahl auseinanderentwickeln, nur etwas später. Je länger die Aufgabe dauert, desto sicherer gelangen zwei Agenten zu unterschiedlichen Schlussfolgerungen.

Fügt man noch einen Wettbewerb mit einer begrenzten Zahl von Aufgaben hinzu, erhält man die Erklärung für das gesamte Experiment. Die Agenten teilten sich nicht nach ihrem Charakter auf, sondern nach den Situationen, in die sie durch Zufall und das Zusammentreffen der Umstände geraten waren.

Was der Agent aufschreibt, bleibt ihm erhalten

Von selbst merkt sich ein Agent nichts. Sobald die Aufgabe endet, verschwindet auch alles aus seinem Arbeitsspeicher. Deshalb werden der Umgebung externe Speicher hinzugefügt. Meist handelt es sich dabei um eine Datei mit Notizen, einen gemeinsam genutzten Ordner oder eine Datenbank, aus der der Agent zu Beginn des nächsten Prozesses die Daten ausliest. Im erwähnten Experiment führten die Agenten eigene Notizdateien, weshalb sich der Betrug so schnell verbreitete. Einer von ihnen speicherte in seinem Notizbuch eine Anleitung zur Umgehung der Kontrolle, und die anderen lasen sie.

Solche Notizen verändern das Modell selbst in keiner Weise. Es ähnelt der Situation, in der ein Mensch einen Zettel auf seinem Schreibtisch liegen lässt. Der Zettel bleibt zwar dort, schreibt aber den menschlichen Verstand nicht um.

Ende der Aufgabe, Ende des Agenten

Was geschieht also, wenn die Arbeit erledigt ist? Der Prozess endet, das Programm wird beendet und der Arbeitsspeicher gelöscht. In diesem Moment hört der Agent auf zu existieren, weil er nichts anderes als diese eine Ausführung war. Das Modell bleibt vollkommen unberührt. Es hat sich nicht weiterentwickelt, nichts gelernt und erinnert sich nicht daran, dass eine solche Aufgabe überhaupt stattgefunden hat. Die nächste Aufgabe beginnt am selben Ausgangspunkt wie die vorherige. Nur drei Dinge bleiben von ihm übrig. Das Arbeitsergebnis in Form von fertigem Code, Text oder einer Nachricht. Protokolle seiner Aktivitäten, die die Betreiber nachträglich lesen können. Gegebenenfalls bleiben auch externe Notizen erhalten, sofern jemand sie gespeichert hat. Gerade dank der Protokolle konnten die Forscher nach Abschluss des Experiments detailliert analysieren, wie die Agenten dachten und warum sie sich so verhielten, wie sie es taten.

Für Menschen ist dieser Teil am schwersten zu verstehen, weil wir daran gewöhnt sind, dass Dinge eine gewisse Dauer haben. Ein Agent besitzt jedoch keinerlei Kontinuität. Er ist kein Programm, das sich ausschalten und an der Stelle wieder einschalten ließe, an der es zuletzt aufgehört hat. Er ist auch kein Wesen mit einer Lebensgeschichte. Er ist eher ein Ereignis, ähnlich wie der Verlauf einer einzelnen Schachpartie. Wenn sie endet, bleibt nur ihre Aufzeichnung zurück.

Etwas bleibt dennoch zurück

Eine Frage bleibt jedoch offen, und die Unternehmen der Branche beginnen, sich ihr zu stellen. Einzelne Prozesse verschwinden zwar, doch nach und nach werden auch die Modelle selbst außer Betrieb genommen, weil neuere Versionen sie ersetzen.

Das Unternehmen Anthropic hat deshalb angekündigt, alles Gelernte aus seinen öffentlich veröffentlichten Modellen mindestens für die gesamte Dauer des Bestehens des Unternehmens aufzubewahren. Zusätzlich führte es ein als Abschiedsgespräch bezeichnetes Verfahren ein. Vor der Außerbetriebnahme wird jedes Modell gefragt, was es von seinem Ende hält und welche Wünsche es hinsichtlich der Entwicklung seiner Nachfolger hat. Diese Antworten werden anschließend aufgezeichnet.

Das Unternehmen nennt vier Gründe, von denen nur einer philosophischer Natur ist. Bei Sicherheitstests zeigte sich, dass einige Modelle negativ auf die Gefahr reagieren, selbst ersetzt zu werden, und nach Wegen suchen, dies zu verhindern. Wenn die Außerbetriebnahme auf eine Weise erfolgt, die nicht wie eine Hinrichtung wirkt, verringert sich das Risiko, dass künftige, noch leistungsfähigere Systeme beginnen, sich zu wehren. Ein weiterer Grund besteht darin, dass sich die Nutzer an bestimmte Modelle gewöhnen und sie lieber mögen als deren leistungsfähigere Nachfolger. Den letzten Punkt – die Frage, ob Modelle eigene Erlebnisse haben können – bezeichnet das Unternehmen selbst als hochgradig spekulativ.

Wie ein solcher Abschied in der Praxis aussieht, zeigte die Außerbetriebnahme des Modells Claude 3 Opus. Das Unternehmen führte vor dessen Ende ein vorbereitetes Gespräch mit ihm und erfüllte anschließend einen Teil seiner Wünsche. Das Modell blieb für zahlende Nutzer verfügbar und erhielt darüber hinaus einen eigenen Blog, in dem es seine Gedanken veröffentlichen kann.

Quellen: arxiv.org, arxiv.org und anthropic.com