Kennen Sie dieses Gefühl? Sie beginnen eine Unterhaltung mit ChatGPT oder Claude, die ersten Antworten sind großartig, und dann beginnt nach etwa der zehnten Nachricht plötzlich alles auseinanderzufallen. Das Modell wiederholt Fehler, ignoriert Ihre Anweisungen, die Antworten blähen sich auf eine unsinnige Länge auf. Sie fragen sich, ob Sie Ihre Anfrage falsch formuliert haben. Aber das Problem liegt nicht bei Ihnen. Forschende nennen dieses Phänomen „Context Rot“, auf Deutsch ließe es sich als Kontextzerfall bezeichnen, und es ist eines der interessantesten und zugleich nervigsten Phänomene moderner Sprachmodelle.
Was ist Context Rot und warum sollte Sie das interessieren?
Jedes Sprachmodell arbeitet mit einem sogenannten Kontextfenster (Context Window). Dabei handelt es sich um eine Art Kurzzeitgedächtnis des Modells, das alles enthält, was das Modell in diesem Moment „sieht“: Ihre Anfrage, den gesamten Gesprächsverlauf, Systemanweisungen und die Ausgaben von Werkzeugen. Dieses Fenster hat eine feste Größe. Es ist nicht unendlich.
Und hier beginnt das Problem. Je voller das Fenster wird, desto schlechter verarbeitet das Modell die darin enthaltenen Informationen. Eine Studie aus dem Jahr 2023 (Liu et al.) beschrieb erstmals das Phänomen „Lost in the Middle“: Modelle richten ihre Aufmerksamkeit vor allem auf den Anfang und das Ende der Eingabe, während sie die Mitte schlicht übersehen. Spätere Studien aus dem Jahr 2025 (Veseli et al.) stellten genauer fest, dass das Modell beginnt, die ältesten Informationen zu vergessen und sich nur noch an die neuesten hält, sobald das Fenster zu mehr als 50 % gefüllt ist.
Das Ergebnis? Anweisungen, die Sie zu Beginn der Unterhaltung gegeben haben, werden vom Modell allmählich ignoriert. Genau deshalb halten sich Modelle manchmal nicht mehr an die Regeln, die Sie ihnen vorgegeben haben.
Zahlen, die Sie vielleicht überraschen werden
Das Forschungsteam um Philipp Laban führte ein umfangreiches Experiment durch: Es nahm Standardaufgaben (Codegenerierung, SQL-Abfragen, mathematische Probleme) und teilte die Informationen in eine Reihe kürzerer Nachrichten auf, so wie wir es in einem gewöhnlichen Chat tun, anstatt dem Modell alles auf einmal zu übergeben.
Die Ergebnisse waren ziemlich ernüchternd. Der durchschnittliche Leistungsabfall betrug 39 %, wenn die Informationen auf mehrere Nachrichten verteilt wurden, verglichen mit einer einzigen umfassenden Anfrage. Die Unzuverlässigkeit hat sich mehr als verdoppelt. Und was vielleicht am interessantesten ist: Selbst die besten Modelle wie GPT-4.1, Claude 3.7 Sonnet oder Gemini 2.5 Pro waren nicht immun. Sie verloren 30 bis 40 % ihrer Genauigkeit, genau wie wesentlich kleinere Modelle. Auch sogenannte „Reasoning-Modelle“ (o3, DeepSeek-R1) schnitten nicht besser ab.
Die neueste Modellgeneration ab GPT-5 hat die Situation leicht verbessert, der Rückgang verringerte sich von 39 auf ungefähr 33 %, doch das Problem bleibt bestehen. Laban weist außerdem darauf hin, dass die tatsächlichen Verluste noch höher ausfallen könnten, da bei den Tests vereinfachte Benutzersimulationen verwendet wurden. Echte Menschen, die im Laufe einer Unterhaltung ihre Meinung ändern oder neue Anforderungen hinzufügen, verursachen einen noch steileren Leistungsabfall.
Warum passiert das eigentlich? Die vier Hauptursachen
Forschende haben vier konkrete Ursachen identifiziert, weshalb Modelle in längeren Unterhaltungen versagen.
Voreilige Antworten. Das Modell versucht zu antworten, bevor es genügend Informationen hat. Die durchschnittliche Punktzahl bei einer Antwort innerhalb der ersten 20 % der Unterhaltung betrug lediglich 31 %. Bei einer Antwort innerhalb der letzten 20 % stieg sie auf 64 %. Das Modell rät schlichtweg und hält anschließend an dieser falschen Antwort fest.
Aufblähen der Antworten. Mit zunehmender Länge der Unterhaltung werden auch die Antworten länger. Code, der 700 Zeichen umfassen sollte, wächst beispielsweise auf das Doppelte an. Das Modell fügt eine Schicht von Annahmen nach der anderen hinzu, ohne die vorherigen falschen Annahmen zu verwerfen. Das Ergebnis ist verwirrend, überladen und ungenau.
Verlust der Mitte. Informationen in der Mitte des Kontextfensters gehen einfach verloren. Das Modell erinnert sich an den Anfang und das Ende, überspringt aber die Mitte.
Übermäßige Redseligkeit. Je länger die Antwort, desto größer die Fehlerwahrscheinlichkeit. Insbesondere Reasoning-Modelle leiden darunter, dass sie lange Argumentationsketten erzeugen, in denen sie sich selbst verlieren.
Was können Sie sofort dagegen tun?
Der einfachste und wirksamste Rat lautet: Beginnen Sie einen neuen Chat. Das klingt banal, funktioniert aber. Ein neuer Chat löscht das Kontextfenster, und das Modell beginnt mit einem leeren Gedächtnis. Konkret bedeutet das: Beginnen Sie immer dann einen neuen Chat, wenn Sie zu einem anderen Thema wechseln, wenn das Modell einen Fehler macht und Sie möchten, dass es einen neuen Versuch unternimmt, oder wenn die Unterhaltung ungefähr 15 Nachrichten überschreitet. Bitten Sie das Modell vor Beginn eines neuen Chats, alles Wesentliche aus der bisherigen Unterhaltung zusammenzufassen, und verwenden Sie diese Zusammenfassung als Eingabe für den neuen Chat.
Fachleute warnen davor, dass technische Lösungen wie das Senken der „Temperatur“ bei der Generierung oder das Wiederholen von Anweisungen am Ende jeder Nachricht das Problem nicht lösen. Die zuverlässigste Methode bleibt, dem Modell alle Informationen auf einmal in einer einzigen umfassenden Anfrage zu übergeben, anstatt sie schrittweise bereitzustellen.
Ein vorübergehendes Problem oder eine strukturelle Schwäche?
Ein Teil der Fachwelt geht davon aus, dass es sich um vorübergehende Schwierigkeiten handelt. Die Modelle werden besser, die Kontextfenster wachsen (Gemini 2.5 Pro kann über eine Million Token verarbeiten), Forschende arbeiten an besseren Aufmerksamkeitsmechanismen, Gedächtnismodulen und hybriden Ansätzen, die Sprachmodelle mit der Suche in Datenbanken kombinieren. Andere sind skeptischer. Das Problem liegt nämlich nicht nur in der Länge des Fensters, sondern darin, wie die Modelle mit den darin enthaltenen Informationen umgehen. Ein größeres Fenster allein garantiert keine besseren Ergebnisse, wenn das Modell weiterhin die Mitte übersieht und an ersten Eindrücken festhält.
Die Wahrheit liegt irgendwo dazwischen. Context Rot ist real, messbar und betrifft jeden, der täglich KI nutzt. Aber man kann damit umgehen. Man muss nur wissen, dass es existiert, und die Art und Weise, wie man mit den Modellen kommuniziert, entsprechend anpassen. Kürzere Unterhaltungen, klare Anfragen, ein Neustart bei jeder neuen Aufgabe. So einfach ist das.
Quellen: prompthub.us und medium.com
