KI-Agenten: Was sie wirklich leisten können und wo ihre Grenzen liegen

Rund um künstliche Intelligenz und insbesondere große Sprachmodelle (LLMs) herrscht enorme Begeisterung. Diskussionen darüber, wie sich führende KI-Unternehmen von früheren Unternehmensgenerationen unterscheiden, finden jedoch oft auf einer so abstrakten Ebene statt, dass sie an Bedeutungslosigkeit grenzen. Das ist so, als würde man behaupten, Ihr Unternehmen könnte viel besser sein, wenn es nur mehr Software einsetzen würde – technisch gesehen stimmt das, aber es ist keine besonders hilfreiche Aussage.

Dieser Ansatz versucht, kurz zusammenzufassen, wie KI-Agenten funktionieren, diese Zusammenfassung auf mehrere reale Anwendungsfälle zu übertragen und grundsätzlich zu argumentieren, dass Agenten die Qualität Ihrer Software und Ihres Systemdesigns vervielfachen. Wenn Ihre Software oder Ihre Systeme schlecht konzipiert sind, richten Agenten lediglich Schaden an.

Wie KI-Agenten funktionieren: Vier zentrale Fähigkeiten

1. Auswertung des Kontextfensters mithilfe eines LLM

Im Kern erfolgt die Nutzung eines LLM über einen API-Aufruf, der einen Prompt (eine Anweisung) enthält. Beispielsweise können Sie Anthropic's /v1/message mit folgendem Prompt aufrufen: „Wie sollte ich LLMs in meinem Unternehmen einführen?“ Dieser Prompt wird verwendet, um das Kontextfenster des LLM zu füllen, wodurch das Modell auf die Generierung bestimmter Arten von Antworten ausgerichtet wird.

Prompt Engineering oder auch Context Engineering (Kontext-Engineering) bezeichnet die Entscheidung darüber, was in das Kontextfenster aufgenommen werden soll, um die gesuchten Antworten bestmöglich zu generieren. Beispielsweise ist In-Context Learning (ICL) eine Form des Kontext-Engineerings, bei der Sie vor dem Stellen einer Frage eine Reihe ähnlicher Beispiele bereitstellen.

2. Gestaltung von Werkzeugen und Anreicherung des Kontexts

Ein LLM ruft ein Werkzeug nicht tatsächlich selbst auf. Der Aufruf von Werkzeugen erfolgt in einem fünfstufigen Prozess:

1. Der Programmentwickler muss eine Reihe von Werkzeugen definieren, deren Verwendung das LLM vorschlagen kann
2. Jeder API-Aufruf des LLM enthält diese Werkzeuge als Optionen
3. Die Antwort der API besteht entweder aus generiertem Text oder aus der Empfehlung, ein bestimmtes Werkzeug mit bestimmten Parametern aufzurufen
4. Das Programm entscheidet, ob und wie die angeforderte Verwendung des Werkzeugs ausgeführt wird
5. Wenn sich das Programm dafür entscheidet, das Werkzeug aufzurufen, führt es dieses aus und ruft die LLM-API mit der Ausgabe des Werkzeugs auf

3. Steuerung des Ablaufs der Werkzeugnutzung

Agenten steuern den Ablauf der Werkzeugnutzung mithilfe von Regeln oder statistischen Analysen:

Ablaufsteuerung mithilfe von Regeln:

• Die Verwendung eines bestimmten Werkzeugs kann innerhalb eines bestimmten Arbeitsablaufs auf ein einziges Mal beschränkt werden
• Für Parameter oberhalb eines bestimmten Werts kann eine menschliche Genehmigung erforderlich sein (beispielsweise bei Rückerstattungen von mehr als 100 Dollar)
• Ein generiertes Python-Programm kann ausgeführt und die Ausgabe zur Analyse eines Datensatzes zurückgegeben werden
• Für die Verwendung von Werkzeugen kann ein Berechtigungssystem angewendet werden

Ablaufsteuerung mithilfe von Statistiken:

• Wenn die Höhe einer Rückerstattung über der von 99 % aller anderen Rückerstattungen liegt, kann der Vorgang an einen Menschen eskaliert werden
• Wenn ein Benutzer ein Werkzeug häufiger als 99 % aller anderen Benutzer verwendet hat, kann die weitere Verwendung für den Rest des Tages abgelehnt werden

4. Agenten als Softwareprogramme

Agenten können alles tun, was Software zur Erstellung besserer Kontextfenster leisten kann. Dazu gehören:

• Erstellung eines allgemeinen Kontexts zur Aufnahme in das Kontextfenster
• Initiierung eines auf einem eingehenden Ticket basierenden Arbeitsablaufs
• Regelmäßige Initiierung von Arbeitsabläufen zu einem bestimmten Zeitpunkt

Praxisbeispiel 1: Agent für den Kundensupport

Ein typischer Kundensupportprozess umfasst mehrere Ebenen von Agenten, die zunehmend komplexere Kundenprobleme bearbeiten. Das Ziel besteht darin, zunächst die einfachste Ebene zu übernehmen und dann schrittweise zu höheren Ebenen überzugehen.

Der Ansatz könnte folgendermaßen aussehen:

• Tickets (oder Support-Chats) an den KI-Agenten weiterleiten
• Dem Agenten verschiedene Werkzeuge zur Verfügung stellen, um Benutzerinformationen abzurufen, den Vorgang an die nächste Supportebene zu eskalieren, einen Kauf zu erstatten oder ein Benutzerkonto zu schließen
• Anweisungen für den Kundensupport in das Kontextfenster aufnehmen
• Regeln zur Ablaufsteuerung einrichten, die sicherstellen, dass alle Anfragen an einen Menschen eskaliert werden, wenn sie nicht innerhalb eines bestimmten Zeitraums gelöst werden

Wichtig ist, dass Sie selbst dann, wenn Sie den „Kundensupport auf KI-Agenten umstellen“, weiterhin Folgendes haben:

• Eine Ebene menschlicher Agenten, die die komplexesten Anfragen bearbeiten
• Menschen, die regelmäßig Leistungsstatistiken überprüfen
• Menschen, die die Qualität der Interaktionen zwischen KI-Agenten und Kunden kontrollieren

Praxisbeispiel 2: Klassifizierung eingehender Fehlermeldungen

Wenn in Ihrem Unternehmen ein Vorfall gemeldet wird oder Sie eine Fehlermeldung erhalten, besteht die erste Aufgabe darin, festzustellen, wie schwerwiegend das Problem sein könnte.

Der Prozess könnte folgendermaßen ablaufen:

• Alle erstellten Vorfälle und Tickets zur Überprüfung an diesen Agenten weiterleiten
• Dem Agenten Werkzeuge zur Verfügung stellen, um einen Vorfall zu eröffnen, aktuelle Vorfälle abzurufen, kürzlich erstellte Tickets abzurufen und Produktionsmetriken zu erhalten
• Redundante LLM-Anbieter für kritische Arbeitsabläufe einsetzen – wenn die API eines LLM-Anbieters nicht verfügbar ist, werden innerhalb von zehn Sekunden drei Versuche unternommen; anschließend wird auf einen zweiten Modellanbieter zurückgegriffen (beispielsweise zuerst Anthropic und, falls nicht verfügbar, OpenAI)
• Duplikate zusammenführen und die Auswirkungen bewerten
• Eine Ursache vorschlagen und bekannte sichere Feature-Flags anwenden

Grenzen und wichtige Beobachtungen

Es ist wichtig zu beachten, dass Agenten nicht alle Probleme lösen können. Sie können die Wiederherstellung einer Datenbank nicht stärker beschleunigen, als es die Netzwerkbandbreite zulässt. Der Zugriff auf eine textbasierte Bewertung erschafft keine fehlenden Werkzeuge. Ebenso kann eine textbasierte Bewertung weder Zugriffsberechtigungen lösen noch dafür sorgen, dass nicht vorhandene Dokumente plötzlich existieren.

Agenten sind ein Multiplikator für die Qualität Ihres Systemdesigns – gut umgesetzte Agenten können Ihre Effizienz deutlich steigern. Schlecht umgesetzte Agenten verschärfen lediglich Ihre Probleme.

LLMs und Agenten sind leistungsstarke Mechanismen, die tatsächlich verändern werden, wie Produkte konzipiert werden und funktionieren. Eine ganze Generation von Softwareentwicklern und Führungskräften lernt gerade, wie diese Werkzeuge funktionieren.

Software ist keine Magie – Software ist äußerst logisch. Was Software jedoch erreichen kann, wirkt magisch, wenn wir sie effektiv einsetzen. Die Kombination aus Agenten, hervorragendem Systemdesign und hervorragendem Softwaredesign wird es Agenten ermöglichen, ihr Potenzial wirklich zu entfalten.