Warum Andrej Karpathy nicht an RL für das KI-Training glaubt – ehemaliger OpenAI-Mitarbeiter

Andrej Karpathy, ehemaliger Forscher bei Tesla und OpenAI, teilte auf der Plattform X seine seit Langem bestehende Skepsis gegenüber bestärkendem Lernen (Reinforcement Learning, RL) als grundlegender Methode für das Training großer Sprachmodelle (LLM). In seinem Beitrag beschreibt er die Belohnungsfunktionen beim RL als „super sus“ – also als äußerst unzuverlässig, leicht manipulierbar und ungeeignet, um echte intellektuelle Fähigkeiten zur Problemlösung zu vermitteln. Diese Haltung steht im Widerspruch zu der vieler großer Akteure wie OpenAI, die RL als skalierbaren Ansatz für neue Aufgaben betrachten, obwohl rein vortrainierte LLM offenbar ihren Höhepunkt erreicht haben.

In einem Artikel auf der Website The Decoder werden Karpathys Ansichten ausführlich erläutert. Ihm zufolge funktioniert RL am besten, wenn es eine eindeutig richtige oder falsche Antwort gibt, da das Modell positives Feedback für die schrittweise Lösung von Problemen erhält. Dies hilft LLM dabei, Aufgaben in logische Schritte zu zerlegen, und macht ihre Schlussfolgerungen transparenter. Karpathy weist jedoch darauf hin, dass diese Belohnungsfunktionen für komplexere kognitive Aufgaben wie die intellektuelle Problemlösung unzureichend sind und sich leicht umgehen lassen.

Karpathy erkennt die Vorteile von RL an, fordert aber einen Wandel

Obwohl Karpathy RL kritisiert, räumt er ein, dass das Feintuning von Modellen mithilfe von RL einen Fortschritt gegenüber dem klassischen überwachten Feintuning (Supervised Finetuning, SFT) darstellt, das lediglich menschliche Antworten nachahmt. Seinen Worten zufolge führt RL zu einem ausgefeilteren Verhalten der Modelle, und er erwartet, dass sich diese Methode weiterhin deutlich entwickeln wird. In einem weiteren Beitrag auf X erwähnt er, dass das RL-Feintuning „weiterhin erheblich wachsen wird“.

Die wirklichen Durchbrüche werden Karpathy zufolge jedoch erst mit völlig anderen Lernmechanismen kommen. Menschen nutzen wesentlich leistungsfähigere und effizientere Lernmethoden, die „noch nicht richtig erfunden und skaliert wurden“. Diese Ansicht reiht ihn in eine wachsende Gruppe von LLM-Skeptikern ein, die behaupten, dass der nächste große Sprung in der KI neue Ansätze erfordert. So schlägt er beispielsweise das „Lernen mit System-Prompts“ (System Prompt Learning) vor, bei dem das Lernen auf der Ebene von Token und Kontext stattfindet und nicht durch eine Veränderung der Modellgewichte. Er vergleicht dies mit dem, was während des Schlafs im menschlichen Gehirn geschieht, wenn Informationen konsolidiert und gespeichert werden.

Interaktive Umgebungen als Weg in die Zukunft

Einer von Karpathys zentralen Vorschlägen ist das Training von LLM in interaktiven Umgebungen – digitalen Räumen, in denen Modelle handeln und die Folgen ihrer Aktionen beobachten können. Frühere Trainingsphasen stützen sich beim Vortraining auf Texte aus dem Internet und beim Feintuning auf Frage-und-Antwort-Daten, interaktive Umgebungen liefern dagegen echtes Feedback auf Grundlage realer Entscheidungen. LLM würden so nicht mehr nur menschliche Antworten statistisch nachahmen, sondern lernen, Entscheidungen zu treffen und Optionen in kontrollierten Szenarien zu testen.

Karpathy betont, dass diese Umgebungen sowohl dem Training als auch der Bewertung dienen würden. Die größte Herausforderung besteht derzeit darin, eine große, vielfältige und hochwertige Sammlung solcher Umgebungen zu schaffen, ähnlich wie früher bei Textdatensätzen. Im August 2024 argumentierte Karpathy, dass RL einen Durchbruch ermöglichen könnte, wenn es sich auf wirklich objektive, messbare Belohnungsfunktionen stützen würde. Damals kritisierte er das standardmäßige bestärkende Lernen mit menschlichem Feedback (RLHF) als zu stark von menschlichen Präferenzen abhängig, was er eher als „Stimmungskontrolle“ denn als echtes Ziel bezeichnete.

Vergleich mit den Ansichten anderer Experten

Karpathys Ideen stimmen mit dem Aufruf zu einem Paradigmenwechsel von DeepMind-Forschern wie Richard Sutton und David Silver in ihrem Essay „Willkommen im Zeitalter der Erfahrung“ überein. Beide argumentieren, dass die nächste Welle fortschrittlicher KI nicht einfach nur menschliche Sprache oder Urteile kopieren kann. Stattdessen sollte KI robuster, kreativer und anpassungsfähiger werden, indem sie direkt aus Erfahrungen und eigenständigen Handlungen lernt. Karpathy stimmt zu, dass die derzeitigen RL-Techniken für abstrakteres Schlussfolgern nur begrenzt geeignet sind, und fordert, aus eigenen Erfahrungen zu lernen, anstatt nachzuahmen.

Solche Ansichten werden in der KI-Community immer lauter, während nach Alternativen zu den derzeitigen Methoden gesucht wird. So treiben beispielsweise Reasoning-Modelle, die stark von RL abhängen, den Großteil des jüngsten Hypes um KI an, während vortrainierte Modelle wie GPT-4 nur geringe Fortschritte zeigen. Karpathy bleibt hinsichtlich des Wachstums des RL-Feintunings optimistisch, betont jedoch die Notwendigkeit von Innovationen für echten Fortschritt.