Eine von Wissenschaftlern der Aalto-Universität geleitete Studie offenbart ein interessantes Phänomen. Wenn Menschen große Sprachmodelle wie ChatGPT zur Lösung komplexer Aufgaben einsetzen, verbessert sich ihre tatsächliche Leistung. Beispielsweise erzielten die Teilnehmer bei Tests zum logischen Denken aus dem Law School Admission Test (LSAT) im Durchschnitt drei Punkte mehr als die Allgemeinbevölkerung. Das bedeutet, dass KI tatsächlich dabei hilft, die Ergebnisse bei anspruchsvollen kognitiven Aufgaben zu verbessern. Die Studie, die von Daniela Fernandes, Steeven Villa, Salla Nicholls, Otso Haavisto, Daniel Buschek, Albrecht Schmidt, Thomas Kosch, Chenxinran Shen und Robin Welsch durchgeführt wurde, umfasste zwei große Personengruppen. Am ersten Teil nahmen 246 Personen teil, am zweiten 452.
Die Teilnehmer sollten 20 Aufgaben aus dem LSAT lösen, einem Test, der für die Zulassung zu juristischen Fakultäten in den USA verwendet wird. Diejenigen, die KI nutzten, erzielten bessere Ergebnisse, überschätzten jedoch gleichzeitig deutlich, wie gut sie abgeschnitten hatten. Im Durchschnitt glaubten sie, vier Punkte mehr erreicht zu haben, als es tatsächlich der Fall war. Dies deutet darauf hin, dass Menschen trotz der durch KI gesteigerten Effizienz die Fähigkeit verlieren, ihren eigenen Beitrag richtig einzuschätzen.
Das Problem der Selbstüberschätzung und des Dunning-Kruger-Effekts
Eine der wichtigsten Erkenntnisse ist, dass der traditionelle Dunning-Kruger-Effekt, bei dem leistungsschwächere Personen ihre Fähigkeiten überschätzen und leistungsstärkere sie unterschätzen, beim Einsatz von KI vollständig verschwindet. Unter normalen Bedingungen ohne KI tritt dieser Effekt auf – Menschen mit geringerer Leistung halten sich für besser, als sie tatsächlich sind. Sobald jedoch KI ins Spiel kommt, gleicht sich diese Verzerrung aus. Alle Teilnehmer überschätzten ihre Leistung unabhängig von ihrem Leistungsniveau in gleichem Maße.
Die Forscher verwendeten ein Rechenmodell zur Analyse individueller Unterschiede. Es zeigte sich, dass KI sowohl die kognitive Leistung als auch die Fähigkeit zur Selbsteinschätzung angleicht. Das bedeutet, dass KI leistungsschwächeren Personen zu besseren Ergebnissen verhilft, zugleich aber dazu führt, dass alle ihre Fähigkeiten zu optimistisch einschätzen. In der zweiten Studie, in der die Selbsteinschätzung durch eine finanzielle Belohnung motiviert wurde, wiederholte sich dieses Muster. Die Teilnehmer überschätzten ihre Leistung weiterhin, obwohl sie einen Anreiz hatten, gründlicher darüber nachzudenken.
Die Rolle der KI-Kompetenz bei der Selbsteinschätzung
Bei Menschen mit größerem KI-Wissen zeigte sich ein interessantes Paradox. Die Forscher maßen die KI-Kompetenz mithilfe der SNAIL-Skala (Scale for the Assessment of Non-Experts' AI Literacy), die von M.C. Laupichler und Kollegen entwickelt wurde. Diejenigen, die über bessere technische Kenntnisse im Bereich KI verfügten, waren selbstbewusster, doch ihre Leistungseinschätzungen waren weniger präzise. Höheres Selbstvertrauen korreliert mit einer geringeren Genauigkeit der Selbsteinschätzung. Das bedeutet, dass Menschen, die sich mit KI auskennen, dazu neigen, ihren Erfolg noch stärker zu überschätzen als Personen mit geringerer KI-Kompetenz.
In der Praxis interagierten die meisten Teilnehmer nur minimal mit ChatGPT – häufig stellten sie lediglich eine einzige Anfrage pro Aufgabe. Sie kopierten die Aufgabe in die KI, übernahmen die Antwort ohne weitere Überprüfung und vertrauten dem System blind. Dieser als kognitive Auslagerung bezeichnete Ansatz bedeutet, dass sie die gesamte Verarbeitung der KI überlassen, was ihre Fähigkeit einschränkt, über eigene Fehler nachzudenken.
Auswirkungen auf den alltäglichen Einsatz von KI
Die Studie hebt die Risiken hervor, die mit einem übermäßigen Vertrauen in KI verbunden sind. Menschen nutzen KI häufig für komplexe Aufgaben wie logisches Denken, erkennen jedoch nicht, dass ihr eigener tatsächlicher Beitrag geringer ist, als sie glauben. Dies kann zu einer übermäßigen Abhängigkeit von solchen Systemen führen, wodurch die eigenen kognitiven Fähigkeiten langfristig abnehmen. In der ersten Studie verbesserte sich beispielsweise die Leistung, während die metakognitive Genauigkeit sank – die Teilnehmer konnten nicht so gut zwischen richtigen und falschen Antworten unterscheiden, wie sie es ohne KI getan hätten.
Die Forscher verglichen ihre Ergebnisse mit Daten aus einer früheren Studie von Jansen et al. aus dem Jahr 2021, in der die Teilnehmer dieselben Aufgaben ohne KI lösten. Dort trat der Dunning-Kruger-Effekt auf, doch mit KI veränderte sich die Situation. Dies deutet darauf hin, dass KI individuelle Unterschiede ausgleichen kann, allerdings auf Kosten einer präzisen Selbsteinschätzung.
Möglichkeiten zur Verbesserung der Interaktion mit KI
Um diese Probleme zu minimieren, schlagen die Autoren vor, bessere Benutzeroberflächen für KI-Systeme zu entwickeln. Die KI könnte die Nutzer beispielsweise auffordern, ihre Überlegungen ausführlicher zu erklären, was das kritische Denken fördern würde. In der zweiten Studie, in der mehr Interaktionen mit der KI erforderlich waren, zeigte sich, dass eine intensivere Auseinandersetzung helfen kann, eine vollständige Verbesserung der Metakognition jedoch weiterhin ausblieb.
Die Studie kommt somit zu dem Schluss, dass es trotz der durch KI gesteigerten Produktivität wichtig ist, Werkzeuge zu entwickeln, die zur Reflexion anregen. Andernfalls riskieren wir, zu stark von Technologien abhängig zu werden, ohne uns unserer eigenen Grenzen bewusst zu sein. Die Forschung wurde durch das finnische Promotionsprogramm für künstliche Intelligenz und das AmplifAI-Projekt des Europäischen Forschungsrats unterstützt.
