Andrej Karpathy über KI: AGI ist noch mindestens 10 Jahre entfernt

Andrej Karpathy, der früher den KI-Bereich bei Tesla leitete und Gründungsmitglied von OpenAI war, trat kürzlich im Podcast von Dwarkesh Patel auf. In dem langen Gespräch vermittelte er einen realistischen Blick auf den aktuellen Stand der künstlichen Intelligenz. Statt sich vom rasanten Fortschritt begeistert zu zeigen, erklärte er, dass echte KI-Agenten, die als zuverlässige Assistenten oder Praktikanten fungieren könnten, noch zehn Jahre entfernt seien. Die heutigen großen Sprachmodelle (LLM) leiden seiner Ansicht nach unter erheblichen Mängeln und ähneln eher einer fortschrittlichen Autokorrektur als echtem Denken.

Karpathy betonte, dass die Branche die Entwicklungsgeschwindigkeit überschätzt. Statt vom „Jahr der Agenten“ sollten wir vom „Jahrzehnt der Agenten“ sprechen. Er begründete dies mit seinen Erfahrungen, darunter seine Arbeit am Projekt nanochat, bei dem er versuchte, einen ChatGPT-Klon von Grund auf zu entwickeln. Dabei stellte er fest, dass Coding-Agenten für neuen Code überhaupt nicht nützlich sind – vielmehr blähen sie ihn unnötig mit defensiven Elementen auf und verlieren sich in unbekannten Strukturen.

Probleme beim Training von Modellen

Eines der Hauptthemen war die Kritik am bestärkenden Lernen (Reinforcement Learning, RL). Karpathy bezeichnete es als „schrecklich“ und „dumm“, weil es darauf basiert, eine gesamte Abfolge von Aktionen anhand eines einzigen Endergebnisses zu belohnen. Er verglich dies mit dem „Saugen von Supervision durch einen Strohhalm“. Wenn ein Modell zufällig die richtige Antwort erzielt, verstärkt das System sämtliche Schritte auf dem Weg dorthin, einschließlich Fehlern und unnötigen Umwegen. Das führt zu einem verrauschten Lernprozess, wie ihn ein Mensch niemals anwenden würde.

Eine andere Variante, die Prozesssupervision, bei der jeder Schritt einzeln belohnt wird, birgt ihre eigenen Fallstricke. Karpathy erwähnte, dass LLM, die als „Richter“ zur Bewertung der Schritte eingesetzt werden, leicht ausgetrickst werden können. Das Modell lernt, unsinnige Ausgaben wie „thththth“ zu erzeugen, die der Richter fälschlicherweise als perfekt bewertet, weil sie außerhalb seiner Datenverteilung liegen.

Karpathy bezeichnete auch das Vortraining als „miserable Evolution“. Die Modelle lernen aus dem Internet, das voller „Müll und Abfall“ ist, wodurch sie gezwungen sind, den Großteil ihrer Kapazität für das Auswendiglernen statt für echte kognitive Arbeit aufzuwenden. Er schlug vor, dass die künftige Forschung den „kognitiven Kern“ – reine Algorithmen zur Problemlösung – von gespeichertem Wissen trennen sollte. Seiner Ansicht nach könnte ein solcher Kern nur eine Milliarde Parameter umfassen und nicht Hunderte Milliarden wie heute.

Mängel in der Praxis: Beispiele aus der Programmierung

Im Kontext der Programmierung beschrieb Karpathy die „kognitiven Defizite“ der Modelle. Beim Aufbau von nanochat stellte er fest, dass Agenten an gängigen Mustern aus dem Internet hängen bleiben, unnötige Try-Catch-Blöcke hinzufügen und veraltete APIs verwenden. Sie sind „asymmetrisch schlechter“ darin, Code zu schreiben, den noch niemand zuvor geschrieben hat, obwohl genau das den Kern der Forschung ausmacht. Stattdessen empfiehlt er, sie lediglich als Autokorrektur einzusetzen, wo sie effektiv sind.

Er verglich dies mit menschlichem Lernen: Ein Mensch liest ein Buch nicht nur, um sich Inhalte einzuprägen, sondern um aktiv neue Gedanken zu entwickeln – durch Reflexion, Diskussion und die Verknüpfung mit vorhandenem Wissen. Modelle tun dies nicht; ihr „Lesen“ besteht lediglich in der Vorhersage des nächsten Tokens. Zudem sind ihre Ausgaben „unmerklich kollabiert“ – sie decken nur einen kleinen Bereich möglicher Gedanken ab. Karpathy sagte, ChatGPT kenne nur drei Witze, was den Mangel an Vielfalt veranschauliche.

Ein weiteres Problem ist das Fehlen eines Äquivalents zum menschlichen Schlaf oder zur Reflexion. Modelle verfügen über keinen Mechanismus, mit dem sie die täglichen Erfahrungen (das Kontextfenster) in das Langzeitgedächtnis (die Modellgewichte) destillieren könnten. Menschen weisen eine hohe Entropie der Gedanken auf, was eine Überanpassung an enge Muster verhindert, während Modelle schnell kollabieren.

Analogien zum autonomen Fahren

Karpathy schöpfte aus seiner Arbeit bei Tesla am autonomen Fahren und beschrieb den „Marsch der Neunen“. Eine Demo, die in 90 % der Fälle funktioniert, ist einfach, doch jede weitere Neun bei der Zuverlässigkeit – 99 %, 99,9 % – erfordert den gleichen Arbeitsaufwand. Deshalb sei er „extrem unbeeindruckt von Demos“ und glaube, dass der Weg zu nützlicher KI lang und langsam sein werde und mindestens zehn Jahre dauern werde.

Er wies darauf hin, dass heutige „fahrerlose“ Autos irreführend sind – häufig werden sie von versteckten Zentren mit Teleoperatoren unterstützt. „Wir haben den Menschen nicht entfernt, sondern ihn nur dorthin verlegt, wo man ihn nicht sieht“, sagte er. Dieses Prinzip gilt auch für Software: Ein Fehler im Code kann dazu führen, dass Millionen Sozialversicherungsnummern offengelegt werden, ebenso wie ein Fahrfehler.

Prognosen und Risiken

Karpathy sagte voraus, dass Superintelligenz kein „Gott in einer Kiste“ sein werde, sondern ein schrittweiser Kontrollverlust durch viele autonome Entitäten. KI werde keinen plötzlichen Sprung beim BIP-Wachstum von 2 % verursachen; vielmehr werde es sich um eine langsame Verbreitung handeln, ähnlich wie bei Computern oder Mobiltelefonen, die in der BIP-Kurve nicht sichtbar sind.

Im Bildungsbereich sieht er eine Zukunft, in der Lernen zum Vergnügen und zur Selbstverbesserung dient, nicht der Arbeit – ähnlich wie wir heute für unsere Gesundheit ins Fitnessstudio gehen und nicht für körperliche Arbeit. Sein neues Projekt Eureka Labs soll der Menschheit helfen, mit der KI Schritt zu halten, beispielsweise durch LLM101n, einen Kurs zum Aufbau eigener Modelle.

Karpathy betonte, dass den Modellen eine „Kultur“ fehle – sie erstellen nicht wie Menschen Inhalte füreinander. Er schlug Self-Play vor, bei dem ein Modell Probleme für ein anderes erstellt, ähnlich wie bei AlphaGo.

Wirtschaftlicher Kontext

Im Gespräch wurden Marktschätzungen genannt: Die Weltwirtschaft umfasst rund 117 Billionen USD, wovon digitale Aufgaben 10–20 % ausmachen, also 11–23 Billionen USD. Karpathy glaubt, dass der derzeitige Ausbau von Rechenzentren gerechtfertigt ist, weil die Nachfrage nach Werkzeugen wie der Autokorrektur enorm ist, auch wenn Agenten erst später kommen werden.

Dwarkesh Patel hielt dagegen, dass AGI Milliarden „digitaler Arbeitskräfte“ hervorbringen könnte, was die Wirtschaft ähnlich wie die industrielle Revolution verändern würde. Karpathy wies dies zurück und betrachtet KI als Fortsetzung des langfristigen Automatisierungstrends.

Das vollständige Gespräch mit Karpathy können Sie sich auf YouTube ansehen oder eine detaillierte Analyse der Fragen auf theneuron.ai lesen.