Große Sprachmodelle: Ein Sprung nach vorn oder eine Sackgasse in der KI?

Im Bereich der künstlichen Intelligenz findet eine intensive Diskussion statt, welche die Grundlagen heutiger generativer Systeme infrage stellt. Auf der einen Seite stehen die Erfolge großer Sprachmodelle (LLMs) wie ChatGPT, die viele für einen enormen Fortschritt halten. Auf der anderen Seite werden Stimmen laut, etwa die des Turing-Preisträgers Richard Sutton, der diese Modelle als eine ausgeklügelte Form der Nachahmung bezeichnet, die niemals echte Intelligenz erreichen wird. Diese Sichtweise geht auf sein Gespräch mit Dwarkesh Patel zurück, in dem Sutton erklärt, warum Modelle, die auf die Vorhersage von Wörtern trainiert werden, daran scheitern, ein echtes Verständnis der Welt aufzubauen.

Richard Sutton und seine Kritik an LLMs

Richard Sutton, bekannt als Vater des bestärkenden Lernens und Autor des Essays The Bitter Lesson, behauptet in einem Gespräch mit Dwarkesh Patel, dass große Sprachmodelle meisterhafte Nachahmer seien, aber keine echten Weltmodelle aufbauten. Diese Systeme lernen vorherzusagen, was ein Mensch sagen würde, nicht, was tatsächlich geschieht. Ein Modell wie ChatGPT wird beispielsweise anhand einer riesigen Menge an Texten aus dem Internet trainiert, wodurch es Antworten erzeugen kann, die menschlich klingen, denen jedoch die direkte Interaktion mit der Welt fehlt. Sutton betont, dass Intelligenz ohne Ziele und direkte Erfahrungen mit Handlungen und deren Konsequenzen nicht erreicht werden könne. Seiner Ansicht nach besteht Intelligenz darin, Ziele in der Welt zu erreichen, und die Vorhersage des nächsten Wortes ist kein solches Ziel, da sie die äußere Realität nicht beeinflusst.

Sutton vergleicht die Situation mit dem Lernen von Kindern oder Tieren. Kinder lernen von Geburt an nicht durch Nachahmung, sondern durch Versuch und Irrtum. Ein Kind bewegt beispielsweise seine Arme und hört die Geräusche, die es selbst erzeugt, und lernt so aus den Folgen seiner Handlungen. Ebenso lernt ein Eichhörnchen nicht, zwischen Ästen zu springen, indem es ein perfektes Beispiel beobachtet, sondern durch eigene Versuche, bei denen Erfolg oder Sturz eine Rückmeldung liefern. Großen Sprachmodellen fehlt dies – sie haben keinen Körper, keine direkte Erfahrung und können von Ergebnissen nicht „überrascht“ werden, sodass sie gezwungen wären, ihr Wissen anzupassen.

Alternative Möglichkeiten

Anstelle großer Sprachmodelle schlägt Sutton einen aus vier Teilen bestehenden Agenten vor, der kontinuierlich aus einem Strom sensorischer Wahrnehmungen, Handlungen und Belohnungen lernt. Der erste Teil ist eine Strategie, die über Handlungen in einer bestimmten Situation entscheidet. Der zweite ist eine Wertfunktion, die langfristige Ergebnisse vorhersagt und so hilft, Probleme mit spärlichen Belohnungen zu lösen, etwa den Erfolg eines Start-ups nach zehn Jahren. Der dritte ist die Wahrnehmung, die eine Repräsentation des aktuellen Zustands erzeugt. Der vierte ist ein Übergangsmodell, das die Folgen von Handlungen vorhersagt und als interner „Physikmotor“ des Agenten dient.

Dieser Agent würde nicht in einer separaten Trainingsphase lernen, sondern kontinuierlich aus seinen eigenen Erfahrungen. Neues Wissen würde direkt in die Gewichte des Netzwerks integriert, was eine Anpassung an eine einzigartige Umgebung ermöglichen würde. Sutton glaubt, dass ein solcher Ansatz zu robusterer Intelligenz führt, weil er auf direkten Konsequenzen basiert, ähnlich wie beim Programm TD-Gammon aus den 1990er-Jahren, das durch bestärkendes Lernen Backgammon zu spielen lernte.

Die Hypothese der großen Welt und die OaK-Architektur

Suttons Idee basiert auf der Hypothese der großen Welt, nach der die Realität zu komplex ist, um in einem einzigen statischen Datensatz erfasst zu werden. Daher muss ein Agent während des Betriebs auf Grundlage seiner einzigartigen Erfahrungen lernen, etwa indem er den Namen eines Kollegen oder die Dynamik eines neuen Projekts kennenlernt. Darin sieht er die Einschränkung großer Sprachmodelle, die sich auf vortrainiertes Wissen aus der Entwicklungsphase stützen.

Sutton stellt die OaK-Architektur (Options and Knowledge – Optionen und Wissen) vor, die einen Entdeckungszyklus schafft. Der Agent identifiziert interessante Merkmale in den Daten, verwandelt sie in Teilprobleme, erlernt Optionen (Strategien) zu deren Lösung, erstellt Modelle dieser Optionen und plant auf ihrer Grundlage. Dieser Zyklus ermöglicht es dem Agenten, ohne menschliche Aufsicht eigene Abstraktionen zu schaffen, ähnlich wie ein Kind die Welt spielerisch entdeckt. Sutton räumt ein, dass weiterhin Herausforderungen bestehen, etwa zuverlässiges kontinuierliches tiefes Lernen und automatisches Repräsentationslernen, sieht darin jedoch einen Weg zur Superintelligenz.

Gegenargumente der Befürworter großer Sprachmodelle

Aus Sicht der Befürworter großer Sprachmodelle ist Nachahmung kein Fehler, sondern die Grundlage. Diese Modelle lernen, Text in enormem Maßstab vorherzusagen, was sie dazu zwingt, interne Repräsentationen der Welt aufzubauen – beispielsweise von Physik oder Programmierlogik. Gedankenketten ermöglichen es den Modellen, Fehler Schritt für Schritt zu korrigieren, was auf ein echtes Modell und nicht bloß auf Muster hindeutet.

Die Vorhersage des nächsten Tokens ist ihrer Ansicht nach das allgemeinste Ziel für das Vortraining und liefert Wissen für das anschließende bestärkende Lernen aus menschlichem Feedback. Probleme beim kontinuierlichen Lernen seien technischer Natur und ließen sich mit Techniken wie Retrieval-Augmented Generation (Generierung mit Informationsabruf) lösen, die den Zugriff auf neue Informationen ohne vollständiges erneutes Training ermöglichen. Große Sprachmodelle lösen somit das Problem des „Kaltstarts“ für Agenten des bestärkenden Lernens, indem sie ihnen eine umfassende Wissensgrundlage bereitstellen.

Fazit

Sutton sieht im bestärkenden Lernen die Zukunft, in der Agenten mit eigenen Zielen über die Nachahmung hinausgehen. Er glaubt, dass die Nachfolge durch KI unvermeidlich ist, weil die intelligentesten Entitäten Macht erlangen werden. Umgekehrt könnte das Fehlen von Zielen in großen Sprachmodellen ein Sicherheitsvorteil sein, der sie zu kontrollierbaren Werkzeugen macht. Diese Debatte wird beeinflussen, wohin Milliardeninvestitionen fließen und ob wir Systeme bauen werden, die die Welt wirklich verstehen, oder lediglich unsere Worte widerspiegeln. Es ist wahrscheinlich, dass große Sprachmodelle Teil des Weges zur allgemeinen künstlichen Intelligenz sein werden, jedoch nicht deren endgültige Form.

Quelle: theneuron.ai