Wie sich die Leistung/Antworten von KI mithilfe von Kontext verbessern lassen

Große Sprachmodelle (LLMs), wie jene, die ChatGPT antreiben, sind nicht nur intelligent, sondern werden durch eine präzise Steuerung der Informationen, die sie erhalten, noch intelligenter. Genau darum geht es in einem neuen Übersichtsartikel von Lingrui Mei, Jiayu Yao, Yuyao Ge und weiteren Autoren, der auf arXiv unter der Nummer 2507.13334v2 veröffentlicht wurde. Dieses umfangreiche Dokument, das mehr als 1.400 Forschungsarbeiten analysiert, stellt Context Engineering als formale Disziplin vor, die weit über die einfache Gestaltung von Prompts hinausgeht. Stattdessen konzentriert sie sich auf die systematische Optimierung von Informationspaketen für LLMs, wodurch deren Leistung während der Inferenz verbessert wird. Werfen wir einen Blick auf die interessantesten Teile dieser Übersicht – von den grundlegenden Komponenten bis hin zu komplexen Systemen – und darauf, warum dies die Zukunft der KI verändern könnte.

Grundpfeiler des Context Engineering

Die Autoren stellen eine umfassende Taxonomie vor, die Context Engineering in drei grundlegende Komponenten unterteilt: Beschaffung und Generierung von Kontext, Verarbeitung von Kontext und Verwaltung von Kontext. Jede davon spielt eine entscheidende Rolle dabei, wie LLMs Informationen verarbeiten.

Beginnen wir mit der Beschaffung und Generierung von Kontext. Dieser Teil befasst sich damit, wie LLMs relevante Daten aus externen Quellen beziehen oder selbst erzeugen. Beispielsweise wird Retrieval-Augmented Generation (RAG) – eine Technik, bei der das Modell Informationen aus Datenbanken abruft und sie anschließend in seine Antworten integriert – ausführlich beschrieben. Die Autoren zitieren Arbeiten wie jene von Patrick Lewis und anderen, die im Jahr 2020 zeigten, wie RAG wissensintensive Aufgaben in der natürlichen Sprachverarbeitung verbessert. Die Generierung von Kontext umfasst wiederum Methoden, bei denen das Modell selbst zusätzliche Informationen erzeugt, beispielsweise durch Chain-of-Thought-Prompting, wie es Takeshi Kojima und seine Kollegen 2022 vorschlugen. Dadurch können LLMs „laut denken“ und komplexe Probleme Schritt für Schritt lösen.

Eine weitere Komponente ist die Verarbeitung von Kontext, bei der es um die Optimierung von Informationen für eine effiziente Nutzung geht. Hier heben die Autoren Techniken wie die Kontextkompression hervor, mit der sich die Länge der Eingaben reduzieren lässt, ohne dass wichtige Details verloren gehen. Eine Arbeit von Woosuk Kwon und seinem Team aus dem Jahr 2023 beschreibt beispielsweise eine effiziente Speicherverwaltung für die Bereitstellung von LLMs mithilfe von PagedAttention, wodurch längere Kontexte ohne einen enormen Anstieg des Rechenaufwands verarbeitet werden können. Die Verwaltung von Kontext befasst sich wiederum damit, wie die Konsistenz und Relevanz von Informationen im Verlauf von Interaktionen aufrechterhalten werden kann, einschließlich Mechanismen wie selektivem Gating, das von Arbeiten von W. Kruijne und Kollegen aus dem Jahr 2019 inspiriert ist.

Diese Komponenten sind nicht voneinander isoliert – die Autoren zeigen, wie sie ineinandergreifen, um eine robuste Grundlage für fortschrittliche KI-Systeme zu schaffen. Es ist faszinierend, wie die Übersicht hervorhebt, dass der richtige Kontext die Genauigkeit von LLMs erheblich verbessern kann, beispielsweise bei Aufgaben wie der Beantwortung von Fragen oder der Generierung von Code.

Fortschrittliche Systeme: Von RAG bis zu Multi-Agenten-Architekturen

Der interessanteste Teil der Übersicht beginnt dort, wo die Autoren beschreiben, wie diese Komponenten in hochentwickelte Systeme integriert werden. Das erste davon ist Retrieval-Augmented Generation (RAG), das Informationsabruf mit Generierung kombiniert. Der Übersicht zufolge ermöglicht RAG LLMs den Zugriff auf aktuelle Daten außerhalb ihres Trainingsdatensatzes und löst damit das Problem von Halluzinationen – also Fällen, in denen das Modell Fakten erfindet. Sie zitieren beispielsweise eine Arbeit von Yunfan Shao und seinem Team aus dem Jahr 2023, die zeigte, wie synthetisches Prompting Chain-of-Thought-Demonstrationen verbessert.

Ein weiteres Beispiel sind Speichersysteme, die es LLMs ermöglichen, ein Langzeitgedächtnis zu bewahren. Die Autoren verweisen auf Arbeiten wie Mem1 von Aarush Sinha und Kollegen aus dem Jahr 2025, in denen die Synergie zwischen Gedächtnis und schlussfolgerndem Denken für effiziente Agenten mit langen Zeithorizonten erlernt wird. Dies ist entscheidend für Anwendungen wie Konversationsagenten, bei denen sich das Modell an frühere Interaktionen erinnern muss.

Danach folgt das werkzeuggestützte Schlussfolgern, bei dem LLMs mit externen Werkzeugen wie Taschenrechnern oder Datenbanken zusammenarbeiten. Die Übersicht zitiert Toolformer von Tim Schick und seinem Team aus dem Jahr 2023, das zeigt, wie Modelle selbstständig lernen können, Werkzeuge zu verwenden. Schließlich folgen Multi-Agenten-Systeme, in denen mehrere Agenten zusammenarbeiten, wie in einer Arbeit von Guohao Li und seinem Team aus dem Jahr 2023 über kommunizierende Agenten zur Erforschung von LLM-Gesellschaften.

Diese Systeme zeigen, wie Context Engineering LLMs von passiven Generatoren in aktive, adaptive Entitäten verwandelt. Die Übersicht analysiert mehr als 1.400 Zitationen, was die Tiefe der Forschung unterstreicht.

Ratschläge für eine effektive Gestaltung von Prompts und Kontext

Wenn Sie hervorragende Antworten von LLMs erhalten möchten, betonen die Autoren der Übersicht, dass klassisches Prompt Engineering – also die manuelle oder automatisierte Suche nach der idealen statischen Wortfolge – nur der Anfang ist. Stattdessen empfehlen sie den Übergang zu dynamischem Context Engineering, bei dem der Kontext nicht fest vorgegeben ist, sondern mithilfe von Funktionen wie Retrieve oder Select aus mehreren Komponenten zusammengesetzt wird. In der Tabelle auf Seite 10 der Übersicht vergleichen sie beispielsweise, wie Prompt Engineering die Wahrscheinlichkeit Pθ(Y | prompt) maximiert, während Context Engineering das gesamte System F im Hinblick auf die erwartete Belohnung über Aufgaben τ hinweg optimiert. Ratschlag Nummer eins: Maximieren Sie die relevanten Informationen im Kontext unter Einhaltung der Längenbegrenzung Lmax, um den Verlust von Details zu vermeiden – das bedeutet, Techniken wie Kompression oder Selektion zu verwenden, die von Arbeiten wie FlashAttention von Tri Dao aus dem Jahr 2022 inspiriert sind und die Aufmerksamkeit für lange Sequenzen effizienter gestalten. Ein weiterer Tipp: Gestalten Sie Systeme zustandsbehaftet statt zustandslos – bewahren Sie den Speicher (c_mem) und den Zustand (c_state), was die Skalierbarkeit erhöht und die Anfälligkeit bei komplexen Aufgaben verringert. Die Autoren warnen vor übermäßig langen Prompts, die die Fehlerquote erhöhen, und schlagen eine systemische Optimierung vor, bei der sich der Kontext an die jeweilige Aufgabe anpasst, beispielsweise bei mehrstufigen Schlussfolgerungen. Für die Praxis: Beginnen Sie mit Chain-of-Thought, ergänzen Sie Retrieval für Fakten und integrieren Sie Werkzeuge für Berechnungen – dies führt zu präziseren, kreativeren Ausgaben ohne Halluzinationen. Dieser Ansatz behebt der Übersicht zufolge die Asymmetrie zwischen Verständnis und Generierung, was der Schlüssel zu künftigen Fortschritten ist.

Forschungslücken und Zukunft

Die Übersicht offenbart ein zentrales Problem: eine grundlegende Asymmetrie zwischen den Fähigkeiten der Modelle. Während aktuelle LLMs, unterstützt durch Context Engineering, beim Verständnis komplexer Kontexte herausragende Leistungen erbringen, weisen sie bei der Generierung ebenso anspruchsvoller, langer Ausgaben deutliche Einschränkungen auf. Die Autoren betonen, dass die Schließung dieser Lücke eine Priorität für die zukünftige Forschung darstellt.

Darüber hinaus behandeln sie ethische Aspekte wie den Datenschutz in Speichersystemen und fordern ein einheitliches Framework für Forscher und Ingenieure. Mit 166 Seiten und 1.411 Zitationen ist diese Übersicht eine technische Landkarte, die den Weg zu einer fortschrittlicheren, kontextbewussten KI aufzeigt.

Zusammenfassend ist Context Engineering nicht nur ein Schlagwort – es ist ein Weg zu effizienterer KI. Wenn Sie wissen möchten, wie LLMs noch besser werden können, ist diese Übersicht von Lingrui Mei und seinem Team Pflichtlektüre.