Ist das Denken von KI nur eine Illusion? Neue Studie stellt die Logik großer Sprachmodelle infrage
Wie Sie wissen, kann Ihr intelligenter Assistent wie Gemini oder GPT-5 komplexe Aufgaben Schritt für Schritt lösen, als würde er wirklich nachdenken. Aber was, wenn das alles nur eine Täuschung ist? Eine neue Studie der Arizona State University, veröffentlicht unter dem Titel „Is Chain-of-Thought Reasoning of LLMs a Mirage? A Data Distribution Lens“, legt nahe, dass das sogenannte Denken in Form einer Gedankenkette (Chain-of-Thought, CoT) keine echte Logik ist, sondern vielmehr eine Nachahmung von Mustern aus den Trainingsdaten. Diese von Chengshuai Zhao und seinem Team geleitete Untersuchung nutzt die spezielle Umgebung DataAlchemy, um die Grenzen großer Sprachmodelle (LLM) zu testen. Und die Ergebnisse? Wenn sich die Daten von denen unterscheiden, mit denen das Modell trainiert wurde, bricht das gesamte System zusammen.
Was ist eine Gedankenkette und warum ist sie wichtig?
Eine Gedankenkette (CoT) ist eine Technik, bei der das Modell eine Anweisung wie „Lassen Sie uns Schritt für Schritt nachdenken“ erhält und anschließend Zwischenschritte vor der endgültigen Antwort generiert. Dies hat LLM dabei geholfen, ihre Leistung bei Aufgaben wie Mathematik, logischen Rätseln oder „alltagsbezogenem“ Denken zu verbessern. Ein Beispiel aus der Studie: Wenn man fragt, ob das Jahr 1776, in dem die Vereinigten Staaten gegründet wurden, ein Schaltjahr oder ein gewöhnliches Jahr war, stellt das Modell Gemini korrekt fest, dass 1776 durch 4 teilbar und kein Jahrhundertjahr ist, sodass es ein Schaltjahr ist – kommt dann aber fälschlicherweise zu dem Schluss, dass es ein gewöhnliches Jahr war. Diese Diskrepanz zeigt, dass das Modell flüssige, aber logisch fehlerhafte Ausgaben erzeugt, die der Autor Matthias Bastian in einem Artikel auf the-decoder.com als „flüssigen Unsinn“ bezeichnet.
Die Studie betont, dass CoT nur dann gut funktioniert, wenn die Testdaten genau den Trainingsdaten entsprechen. Sobald es zu einer Verschiebung kommt – sei es bei der Art der Aufgabe, der Länge oder dem Format –, sinkt die Leistung drastisch. Die Autoren weisen dies anhand einfacher Buchstabentransformationen nach: Eine ROT-Transformation verschiebt beispielsweise Buchstaben im Alphabet um eine bestimmte Anzahl von Stellen (A wird bei einer Verschiebung um 13 zu N), während eine zyklische Verschiebung die Reihenfolge verändert (APPLE wird bei einer Verschiebung um 1 zu EAPPL). Ein mit Wörtern aus vier Buchstaben trainiertes Modell scheitert an Wörtern aus drei oder fünf Buchstaben, weil es versucht, die alten Muster durch das Hinzufügen oder Entfernen von Zeichen anzupassen.
Kontrollierte Untersuchung der Grenzen von KI
Um dies nachzuweisen, entwickelten die Autoren DataAlchemy – eine isolierte Umgebung, in der sie LLM von Grund auf mit synthetischen Daten trainieren. Sie verwenden ein GPT-2 ähnliches Modell mit 4 Schichten, 32 verborgenen Dimensionen und 4 Attention Heads sowie einen BPE-Tokenizer. Jedes Element besteht aus 4 Atomen (den Buchstaben A–Z), wodurch 456 976 Stichproben erzeugt werden. Sie initialisieren Transformationen wie f_rot(e, 13) und f_pos(e, 1).
Sie testen drei Dimensionen: die Generalisierung von Aufgaben (neue Elemente oder Transformationen), die Länge (unterschiedliche Textlängen oder Anzahl von Denkschritten) und das Format (Änderungen am Prompt). Bei der Generalisierung von Transformationen definieren sie beispielsweise Stufen wie In-Distribution (ID), Composition (CMP), Partial Out-of-Distribution (POOD) und Out-of-Distribution (OOD). Die Ergebnisse? Die Genauigkeit sinkt von 100 % bei ID auf 0 % bei OOD, während die Editierdistanz (Levenshtein-Distanz) steigt und der BLEU-Wert sinkt. Ebenso scheitert das Modell vollständig, wenn die Länge von 4 auf 3 oder 5 geändert wird, wobei der BLEU-Wert auf 0,55 beziehungsweise 0,62 fällt.
Die Untersuchung zeigt, dass selbst kleine Änderungen, etwa das Einfügen von „Rausch-Tokens“ in den Prompt, CoT beeinträchtigen. Die Autoren warnen, dass dies Folgen für Hochrisikobereiche wie Medizin oder Finanzen hat, in denen fehlerhafte Logik gefährlich sein kann.
Weitere Untersuchungen bestätigen die Zweifel
Diese Schlussfolgerung steht nicht allein. Eine Studie von Apple mit dem Titel „The Illusion of Thinking“ behauptet, dass LLM anstelle symbolischer Logik auf oberflächliche Mustererkennung zurückgreifen. Untersuchungen der Tsinghua University und der Shanghai Jiao Tong University zeigen, dass bestärkendes Lernen mit überprüfbaren Belohnungen (RLVR) die Genauigkeit verbessert, aber nicht zu neuen Strategien führt – es verstärkt lediglich bekannte Muster.
Eine weitere Arbeit der New York University testete Modelle mit grammatischen Regeln in einer Zero-Shot-Konfiguration und stellte fest, dass sie bei zunehmender Komplexität scheitern, häufig aufgrund von „zu geringem Nachdenken“ (Underthinking) mit weniger Zwischenschritten. Eine Studie der UC Berkeley und der Northeastern University deutet dagegen darauf hin, dass die Ergänzung durch Werkzeuge wie einen Python-Interpreter oder ein Scratchpad diese Grenzen überwinden kann, was einen Weg zu robusterem Denken aufzeigt.
Matthias Bastian erwähnt in seinem Artikel auf the-decoder.com, dass selbst Modelle wie GPT-4-Thinking oder Gemini 1.5 Pro einfache Aufgaben korrekt lösen, bei komplexeren jedoch scheitern. Chengshuai Zhao stellte den Code auf GitHub und die Studie auf Hugging Face bereit, was weitere Tests ermöglicht.
Wie geht es mit dem KI-Denken weiter?
Diese Studie von Chengshuai Zhao und seinem Team zeigt deutlich, dass CoT eine fragile Illusion ist, die von der Übereinstimmung der Daten abhängt. Statt wirklich nachzudenken, interpolieren die Modelle lediglich aus den Trainingsdaten, was ihr Scheitern bei neuartigen Aufgaben erklärt. Für Praktiker bedeutet dies, dass gründliche Tests außerhalb der Trainingsverteilung und Vorsicht bei der Implementierung erforderlich sind. Die Zukunft? Vielleicht liegt sie in hybriden Ansätzen mit externen Werkzeugen, doch die Frage, ob LLM jemals echte Logik erreichen werden, bleibt offen. Wenn Sie mehr erfahren möchten, lesen Sie die vollständige Studie auf arXiv.org unter der Nummer 2508.01191v2.
