Ihr Gehirn täuscht Sie, KI stiehlt Ihr Selbstvertrauen – und Sie merken es nicht

Sie schreiben Code, beheben Fehler, feilen an E-Mails. Das Ergebnis sieht großartig aus. Sie fühlen sich klug und kompetent. Aber was, wenn diese gute Arbeit gar nicht Ihre wäre?

Eine neue akademische Studie stellt ein beunruhigendes Konzept vor: den LLM-Trugschluss (vom englischen LLM Fallacy). Die Autoren beschreiben einen kognitiven Fehler, bei dem Menschen von künstlicher Intelligenz erzeugte Ergebnisse fälschlicherweise als Beleg für ihre eigenen Fähigkeiten betrachten. Das Gehirn schreibt sich stillschweigend die Verdienste für eine Arbeit zu, die größtenteils von einer Maschine erledigt wurde.

Wie der LLM-Trugschluss entsteht

Die Forscher definieren den LLM-Trugschluss als Fehler bei der Zuschreibung von Verdiensten, durch den Nutzer von KI-Werkzeugen ihre Fähigkeiten systematisch überschätzen. Dabei handelt es sich nicht um ein vereinzeltes Phänomen. Es ist ein strukturelles Problem, das unmittelbar in der Funktionsweise von Sprachmodellen und in der Art, wie Menschen mit ihnen arbeiten, verankert ist. Warum kommt es dazu? Drei Eigenschaften von KI-Werkzeugen schaffen gemeinsam den Nährboden für diesen Trugschluss.

Die Flüssigkeit der Ausgaben spielt eine entscheidende Rolle. Von Sprachmodellen erzeugte Texte, Codes und Analysen sind grammatikalisch korrekt, stilistisch konsistent und wirken natürlich. Das Gehirn interpretiert diese Flüssigkeit automatisch als Zeichen von Kompetenz, obwohl die Maschine kompetent war und nicht der Mensch an der Tastatur.

Die Intransparenz des Prozesses verkompliziert die Situation zusätzlich. Anders als bei herkömmlichen Werkzeugen, bei denen Sie jeden Zwischenschritt sehen, verbirgt ein Sprachmodell seinen gesamten Berechnungsprozess. Sie wissen nicht, wie es zu dem Ergebnis gelangt ist. Diese Unsichtbarkeit macht es unmöglich, genau zu unterscheiden, was Sie selbst zur Arbeit beigetragen haben und was vom Modell stammt.

Der geringe Aufwand bei der Nutzung vervollständigt schließlich das Trio. Je weniger kognitive Anstrengung eine Arbeit erfordert, desto weniger Gelegenheiten haben Sie, zu überprüfen, ob Sie das Thema tatsächlich verstehen. Und gerade diese Leichtigkeit überzeugt Sie nach und nach davon, dass Sie besser sind, als Sie es tatsächlich sind.

Vier Bereiche, in denen sich der Trugschluss am stärksten zeigt

Die Autoren der Studie haben untersucht, wo der LLM-Trugschluss am häufigsten auftritt. Die Ergebnisse sind nicht überraschend, aber unangenehm.

Programmierung ist der erste Bereich. Ein Nutzer lässt ein Sprachmodell ein funktionierendes Skript oder eine ganze Anwendung erstellen. Der Code funktioniert. Der Nutzer hat das Gefühl, die Architektur, die Abhängigkeiten und die Logik verstanden zu haben. Tatsächlich wäre er jedoch nicht in der Lage, den Code selbstständig zu korrigieren oder zu erweitern. Die in dem Artikel zitierten Untersuchungen zeigen, dass die oberflächliche Korrektheit des Codes nicht zuverlässig auf ein tieferes Verständnis schließen lässt.

Schreiben und Texterstellung bilden den zweiten Bereich. Die KI erstellt einen Entwurf, der Nutzer bearbeitet ihn und bezeichnet ihn als seine eigene Stimme, seinen eigenen Stil und seine eigene Kreativität. Doch wo genau verläuft die Grenze zwischen Urheberschaft und der Bearbeitung eines fremden Textes? Die Studie weist darauf hin, dass diese Grenze im Umfeld von Sprachmodellen bewusst verwischt wird.

Analytische Aufgaben sind der dritte Bereich. Ein Sprachmodell kann eine strukturierte Analyse oder einen detaillierten Lösungsweg für ein Problem erstellen. Der Nutzer übernimmt und reproduziert ihn und verinnerlicht ihn als sein eigenes analytisches Denken. Dabei wurde der gesamte Denkprozess ausgelagert und war nicht sein eigener.

Sprachkenntnisse schließen die Übersicht ab. Wer von uns hat nicht schon einmal mithilfe von KI eine E-Mail in einer Fremdsprache geschrieben? Das Ergebnis war flüssig und grammatikalisch fehlerfrei. Und der Nutzer gewann den Eindruck, diese Sprache eigentlich ganz gut zu beherrschen. Die Autoren der Studie beschreiben diese Lücke als Unterschied zwischen der oberflächlichen Form und der tatsächlichen Sprachkompetenz.

Das Gehirn schreibt sich die Verdienste zu

Der kognitive Mechanismus hinter dem LLM-Trugschluss ist kein Zufall. Die Forscher beschreiben ihn als vorhersehbares Ergebnis der Art und Weise, wie das menschliche Gehirn Urheberschaft und Arbeitsergebnisse verarbeitet.

Unklarheit bei der Zuschreibung von Verdiensten entsteht dadurch, dass der Nutzer bei der Interaktion mit einem Sprachmodell Eingaben macht, das Modell Inhalte erzeugt und der gesamte Prozess in einer kontinuierlichen Schleife abläuft. Das Gehirn rekonstruiert anschließend die Geschichte darüber, wer was getan hat, und überschätzt dabei systematisch den eigenen Beitrag. Forschungen zu Urheberschaft und bewusstem Handeln zeigen, dass Menschen Urheberschaft aus Ergebnissen ableiten und nicht aus den Prozessen, die zu ihnen geführt haben.

Die Illusion der Flüssigkeit fungiert dabei als Abkürzung. Wenn sich ein Text leicht lesen lässt und der Code korrekt kompiliert wird, interpretiert das Gehirn dies als Beleg für Qualität und Kompetenz. Dieser heuristische Mechanismus ist in der kognitiven Psychologie gut dokumentiert, und Sprachmodelle aktivieren ihn bei nahezu jeder Interaktion.

Die kognitive Auslagerung der Arbeit schwächt die Selbstreflexion. Je mehr kognitive Routinearbeit das Modell übernimmt, desto weniger trainiert der Nutzer seine eigene Fähigkeit, einzuschätzen, was er weiß und was nicht. Die Lerngelegenheiten nehmen ab, während das Selbstvertrauen wächst. Die Autoren beschreiben dies als systematische Aufblähung der wahrgenommenen Kompetenz.

Auswirkungen auf Personalbeschaffung und Bildung

Die Autoren Kim, Yu und Yi weisen darauf hin, dass der LLM-Trugschluss nicht nur innerhalb des Einzelnen wirkt. Er betrifft ganze Bewertungssysteme, die die Gesellschaft zur Beurteilung von Kompetenzen nutzt.

Im Einstellungsverfahren können Bewerber Ergebnisse präsentieren, die mit erheblicher Unterstützung von KI und nicht durch eigene Arbeit entstanden sind. Beurteilende, die nur das Ergebnis sehen, können eine systemgestützte Leistung nicht ohne Weiteres von tatsächlicher Fachkompetenz unterscheiden. Und noch gefährlicher ist, dass auch die Bewerber selbst aufrichtig glauben können, die Ergebnisse spiegelten ihre Fähigkeiten wider.

Im Bildungsbereich entsteht ein ähnlicher Riss. Studierende, die Erklärungen von einer KI erstellen oder Aufgaben von ihr lösen lassen, erzielen zwar kurzfristig bessere Leistungen, beteiligen sich aber weniger am eigentlichen Denken. Studien zeigen, dass eine solche Unterstützung den Zusammenhang zwischen der Erledigung einer Aufgabe und dem Verständnis des Stoffes abschwächt. Zertifikate und Bescheinigungen, die als Nachweis geprüfter Fachkompetenz konzipiert sind, verlieren an Zuverlässigkeit. Eine Person kann die Zugangskriterien erfüllen, ohne tatsächlich über die entsprechende Fachkompetenz zu verfügen.

Wie man sich gegen einen Trugschluss wehrt, den man nicht einmal bemerkt

Die Forscher schlagen mehrere Ansätze zur Lösung des Problems vor. Keiner davon ist einfach, doch sie beruhen alle auf demselben Prinzip: der Sichtbarkeit des Prozesses.

Die Benutzeroberflächen von KI-Werkzeugen könnten deutlicher kennzeichnen, was das Modell erzeugt und was der Nutzer hinzugefügt hat. Bildungsansätze sollten das metakognitive Bewusstsein fördern, also die Fähigkeit, genau einzuschätzen, was wir wissen und was nicht. Bewertungen sollten sich von den Ergebnissen auf die Prozesse verlagern und die Fähigkeit prüfen, ohne KI-Unterstützung zu arbeiten, statt lediglich die Fähigkeit, Ergebnisse zu präsentieren.

Den Autoren zufolge handelt es sich bislang um einen konzeptionellen Rahmen. Empirische Überprüfungen stehen noch aus. Die Studie schlägt überprüfbare Theorien vor und fordert die Forschungsgemeinschaft dazu auf, das Phänomen systematisch zu messen. Eine der vorgeschlagenen Methoden sind Längsschnittstudien, die untersuchen würden, wie sich die Selbstwahrnehmung der Nutzer im Verlauf einer langfristigen Nutzung von Sprachmodellen verändert.

Die Autoren haben selbst KI eingesetzt. Und sie haben es offengelegt.

Ein weiterer Aspekt der Studie ist erwähnenswert: Im Schlussteil der Arbeit beschreiben die Autoren offen, dass sie diese mithilfe eines Sprachmodells verfasst haben. Sie nutzten einen strukturierten Ansatz zur Formulierung von Anweisungen, wobei sämtliche konzeptionellen Entscheidungen, Interpretationen und die letztendliche Verantwortung auf menschlicher Seite verblieben.

Es ist bemerkenswert: Die Forscher, die den mit KI verbundenen Trugschluss untersuchen, räumen selbst ein, beim Schreiben KI eingesetzt zu haben. Und sie haben ausdrücklich beschrieben, wie sie versuchten, die Grenze zwischen Werkzeug und Autor aufrechtzuerhalten.