Entwickler statten KI-Agenten heute fast automatisch mit Fähigkeiten aus und gehen dabei davon aus, dass sie dem Agenten durch die Übergabe eines beschriebenen Vorgehens fehlendes Wissen vermitteln, sodass er Aufgaben besser bewältigen kann. Eine neue Studie mehrerer Universitäten, in deren Rahmen über 8.000 Tests durchgeführt wurden, zeigt jedoch, dass diese Annahme falsch ist. Demnach dienen Fähigkeiten nicht als Wissensspeicher, sondern eher als Orientierungshilfe, die verhindert, dass der Agent mitten in einer komplexen Aufgabe vom richtigen Weg abkommt.
Wie die Forscher die Fähigkeiten getestet haben
Entwickler stellen Bibliotheken von Fähigkeiten üblicherweise nach eigenem Ermessen durch Versuch und Irrtum zusammen. Die Autoren der Studie wollten die Wirkung der Fähigkeiten jedoch isolieren und ließen die Agenten daher Tests bearbeiten, bei denen mehrere aufeinanderfolgende Schritte erforderlich waren. Dafür verwendeten sie Terminal-Bench 2.0 und SkillsBench, die das Ausführen von Befehlen, die Fehlerbehebung und die anschließende Überprüfung erfordern, ob das Ergebnis tatsächlich der Aufgabenstellung entspricht.
Anschließend verglichen sie drei Arbeitsweisen, die in allen Fällen auf derselben vorherigen Erfahrung beruhten. Im ersten Modus erhielt der Agent die Aufgabe ohne jeglichen Kontext aus früheren Versuchen, im zweiten wurden ihm rohe, unsortierte Aufzeichnungen eines vorherigen Versuchs vorgelegt, und im dritten erhielt er eine destillierte Fähigkeit in Form einer bereinigten und vereinheitlichten Beschreibung des Vorgehens, die aus denselben Aufzeichnungen gewonnen worden war.
Der Unterschied zwischen dem zweiten und dritten Modus betrug 6,06 Prozentpunkte zugunsten der destillierten Fähigkeit. Das bestätigt, dass Erfahrung allein nicht ausreicht und es darauf ankommt, in welche Form der Entwickler sie bringt, bevor er sie dem Agenten übergibt. Jeder kann diesen Test wiederholen und überprüfen, ob seine eigenen Abstraktionen gegenüber dem bloßen Einfügen roher Protokolle in den Prompt einen Mehrwert bieten.
Arbeitsabläufe geben Orientierung, Wissensvermittlung verliert
Die Studie kommt zu dem Ergebnis, dass Fähigkeiten dann wirksam sind, wenn aus unsortierten Aufzeichnungen eine prozedurale Orientierungshilfe wird, die die Ausführung der Aufgabe durch den Agenten stabilisiert. Das bedeutet, dass eine Fähigkeit dem Agenten die einzelnen Schritte zeigen und ihm nicht die Fakten selbst beibringen sollte.
Die Zahlen bestätigen dies: Eine prozedurale Orientierungshilfe war für 65,7 Prozent der Fälle verantwortlich, in denen eine Fähigkeit half, während die Vermittlung konkreten Wissens nur zu 4,5 Prozent zum Erfolg beitrug. Fähigkeiten korrigieren also nicht die übergeordneten Schlussfolgerungen des Modells, sondern machen es bei der eigentlichen Ausführung robuster. Das zeigt sich am deutlichsten bei Problemen mit der Umgebung, wenn der Agent mit der Konfiguration von Werkzeugen kämpft, Abhängigkeiten umgehen muss oder die Umgebung nicht richtig vorbereiten kann. Der Anteil solcher Fehler sank nämlich von 5,3 Prozent bei der Ausführung ohne Orientierungshilfe auf nur 0,2 Prozent bei Agenten mit einer destillierten Fähigkeit.
Die Studie beschreibt einen konkreten Fall, in dem ein Agent ohne Orientierungshilfe zwar wusste, wie er eine Korrektur in React schreiben musste, aber die Reaktionszeitprüfung nicht bestand. Die Benutzeroberfläche wurde in 915 Millisekunden geladen, obwohl der Grenzwert bei unter 800 Millisekunden lag, weil der Agent die Anfragen nacheinander statt parallel ausführte. Die Fähigkeit diente daraufhin als Arbeitsablauf, der den Agenten anwies, unabhängige Operationen mit Promise.all umzuschreiben, sie so früh wie möglich zu starten und erst am Ende auf das Ergebnis zu warten. Als der Agent diese Abfolge einhielt, bestand er alle Tests in 11,74 Sekunden.
Für Entwickler ergibt sich daraus die klare Empfehlung, Fähigkeiten nicht wie eine Wissensvermittlung oder allgemeine Algorithmen zu formulieren, sondern sie vielmehr als vereinheitlichte Schritt-für-Schritt-Checklisten zu konzipieren, an die sich der Agent halten muss.
Die Gefahr nicht gekennzeichneter Erfahrungen
Die Autoren warnen allerdings davor, dass Fähigkeiten dort versagen, wo sie auf Annahmen beruhen, nicht zum Kontext passen oder sich nicht anpassen können. Ein großer Teil dieser Probleme entsteht bereits bei ihrer Erstellung. Wird eine Fähigkeit nämlich aus rohen Aufzeichnungen destilliert, ohne dass jemand dem Agenten mitteilt, welche Prozesse erfolgreich waren und welche nicht, fällt das resultierende Vorgehen schnell in sich zusammen.
Die Forscher zeigten dies in einem Versuch, bei dem sie diese Information absichtlich entfernten und einem auf dem Gemini-Modell basierenden Agenten einen gemischten Satz aus fünf Aufzeichnungen mit drei erfolgreichen und zwei fehlgeschlagenen Versuchen vorlegten. Konnte der Agent bei der Destillation sehen, wie die einzelnen Versuche ausgegangen waren, erreichte er bei den anschließenden Aufgaben eine Erfolgsquote von 74,6 Prozent. Sobald ihm diese Kennzeichnung jedoch entzogen wurde, fiel die Erfolgsquote auf 40 Prozent. Ohne Informationen über das Ergebnis konnte er das nützliche Signal nicht vom Rauschen trennen und nahm auch seine eigenen Halluzinationen und ineffizienten Schritte dauerhaft in die Bibliothek der Fähigkeiten auf.
Aufzeichnungen sind wertvoll, aber nur dann, wenn sie die richtigen Signale enthalten. Ihre Qualität lässt sich beispielsweise vorab filtern, indem ihre Bewertung einem Sprachmodell als unabhängigem Gutachter übertragen wird.
Die merkwürdige Mathematik der Katalogsuche
Das zweite Problem entsteht mit dem Wachstum der Bibliothek: Als die Zahl der verfügbaren Fähigkeiten von fünf auf hundert stieg, sank die Präzision der tatsächlich verwendeten abgerufenen Fähigkeiten von 29,6 Prozent auf lediglich 3,3 Prozent. Man würde erwarten, dass unter diesem Einbruch auch die Erfolgsquote der Aufgaben zusammenbricht, doch das geschah nicht. Bei dem Agenten auf Basis des Gemini-Modells blieb die Erfolgsquote mit etwa 36 bis 39 Prozent stabil, selbst als er aus hundert Möglichkeiten wählen konnte.
Die Erklärung lautet, dass das präzise Auffinden der einzig richtigen Fähigkeit weder eine notwendige noch eine hinreichende Bedingung für den Erfolg ist. Zwar greifen Agenten häufig auf falsche Fähigkeiten zurück, doch selbst eine verwandte Fähigkeit bietet ihnen genügend brauchbare Orientierung, um die Aufgabe zu bewältigen. Wenn der Agent statt eines präzisen Vorgehens zur Fehlerbehebung an einer Kassenschnittstelle einen allgemeinen Ablauf zur Fehlerbehebung an Benutzeroberflächen abruft, erhält er immer noch eine sinnvolle Checkliste, an der er sich erfolgreich orientieren kann.
Das tatsächliche Risiko großer Kataloge liegt konkret in der semantischen Austauschbarkeit. Sobald sich in der Bibliothek Fähigkeiten ansammeln, die sich im Vektorraum wie ein Ei dem anderen gleichen, kann die Suche nicht mehr zwischen ihnen unterscheiden und beginnt, zufällige Ergebnisse zurückzugeben.
Wie sich verhindern lässt, dass der Agent beliebige Fähigkeiten abruft
Die von den Autoren vorgeschlagene Lösung stützt sich nicht auf eine intelligentere Vektorsuche, sondern auf eine Architektur, bei der die Fähigkeiten zunächst nach Bereichen unterteilt werden und erst anschließend die Bedingungen für ihre Aktivierung festgelegt werden. In der Praxis bedeutet das, ein zweistufiges System aufzubauen, bei dem auf der ersten Ebene ein auf einem Sprachmodell basierender Router entscheidet und die Aufgabe einer bestimmten Kategorie zuordnet, etwa danach, ob es sich um Arbeiten an der Benutzeroberfläche oder am Server handelt. Auf der zweiten Ebene ruft der Agent eine Fähigkeit nur dann ab, wenn eine fest definierte Bedingung erfüllt ist. Dabei kann es sich beispielsweise um eine exakte Fehlerzeichenfolge im Terminalprotokoll handeln, etwa eine Meldung über eine abgelehnte Verbindung.
Die Forscher ergänzen, dass der Umgang mit Fähigkeiten als Frage des gesamten Lebenszyklus und nicht als einmaliges Einfügen von Speicherinhalten in den Prompt verstanden werden muss. Behandeln Sie Ihre Fähigkeiten daher wie eine Bibliothek betrieblicher Abläufe, die Sie regelmäßig überprüfen, um festzustellen, ob der Agent sie korrekt anwenden kann, und bauen Sie um sie herum eine Architektur auf, die semantische Austauschbarkeit umgeht, bevor sie Schaden anrichtet.
