Grokking: Das rätselhafte Phänomen, bei dem KI ganz von selbst Mathematik lernt

Ein anhand einfacher Beispiele trainiertes Modell merkt sich zunächst alles. Dann macht es keine Fortschritte mehr. Es wirkt, als wäre es stecken geblieben. Doch nach weiterem Training verändert sich plötzlich etwas. Die Genauigkeit bei ungesehenen Daten springt von zufälligem Raten auf nahezu perfekte Kenntnis. Dieses Phänomen erhielt den Namen Grokking. Erstmals beschrieben wurde es 2022 von Forschern von OpenAI in einem auf arXiv veröffentlichten Artikel. Seitdem lässt es viele Menschen nicht mehr los, die sich damit beschäftigen, wie neuronale Netze eigentlich funktionieren.

Was ist Grokking und warum hat es uns überrascht?

Neuronale Netze verhalten sich normalerweise vorhersehbar. Man trainiert sie, die Fehlerrate sinkt und die Leistung steigt. Dann kommt dieser Prozess zum Stillstand. Auf diesem Prinzip beruht das gesamte maschinelle Lernen. Grokking stellt dieses System auf den Kopf.

Forscher von OpenAI trainierten Modelle anhand kleiner Datensätze, die aus mathematischen Operationen bestanden. Konkret ging es um Division modulo 97. Das Modell merkte sich schnell die richtigen Antworten auf die Trainingsbeispiele, und die Genauigkeit näherte sich 100 Prozent. Bei Daten, die es zuvor noch nie gesehen hatte, antwortete es jedoch praktisch zufällig. Ein typischer Fall von Überanpassung, nichts, was die Forscher überrascht hätte.

Die Überraschung kam erst danach. Als die Forscher das Modell deutlich länger trainieren ließen, als zum Auswendiglernen der Daten notwendig war, begann die Genauigkeit auf dem Testdatensatz plötzlich zu steigen. Nicht allmählich, sondern sprunghaft. In einem Experiment geschah dies erst nach einer Million Trainingsschritten, während das Modell die Daten bereits in weniger als tausend Schritten auswendig gelernt hatte. Ein tausendfacher Unterschied. Das Modell wurde zunächst überangepasst und begann dann von selbst zu generalisieren. Ohne jeglichen Eingriff von außen.

Wie die Forschung ablief und was sie enthüllte

Die ursprüngliche Studie arbeitete mit einfachen mathematischen Operationen der Form a ◦ b = c, wobei a, b und c diskrete Symbole sind. Die Forscher testeten verschiedene Arten von Operationen, unterschiedlich große Datensätze und verschiedene Modellarchitekturen.

Eine Erkenntnis war besonders deutlich. Je kleiner der Datensatz war, desto mehr Trainingsschritte waren nötig, damit Grokking auftrat. Kleine Datensätze erfordern schlicht erheblich mehr Rechenarbeit, bevor das Modell vom Auswendiglernen zum tatsächlichen Verständnis übergeht. Vor allem aber trat das Phänomen bei verschiedenen Modellen und Optimierungsverfahren auf. Es handelte sich weder um Zufall noch um ein Artefakt einer bestimmten Architektur.

Neel Nanda, ein Forscher bei Anthropic, beschloss, Grokking direkt im Inneren eines trainierten Modells zu untersuchen. Er nahm ein einfaches Transformer-Modell und brachte ihm die Addition modulo 113 bei. Das Modell durchlief den bekannten Ablauf: Auswendiglernen, Stagnation und dann ein Sprung zu nahezu perfekter Genauigkeit bei neuen Daten.

Anschließend nahm Nanda das Modell buchstäblich auseinander. Dazu nutzte er mechanistische Interpretierbarkeit. Das ist ein Ansatz, der versucht, Algorithmen direkt aus den Gewichten trainierter Netze rückwirkend zu rekonstruieren. Und mit dem, was Nanda dort fand, hatte niemand gerechnet.

Das Modell hatte selbst einen Algorithmus entwickelt, der auf der diskreten Fourier-Transformation und trigonometrischen Identitäten beruhte. Es wandelte Zahlen in Frequenzen um, kombinierte diese mithilfe von Rotationen auf einem Kreis und las anschließend aus dem Ergebnis die Antwort ab. Als hätte es von selbst Polarkoordinaten und Zahlentheorie hergeleitet. Niemand hatte ihm das beigebracht. Niemand hatte ihm erklärt, was eine Fourier-Transformation ist, und niemand hatte es für die Arbeit mit Kreisen programmiert. Das Modell leitete all dies selbstständig und ausschließlich anhand von Beispielen her.

Was im Inneren geschieht, wenn äußerlich nichts zu sehen ist

Eine der interessantesten Erkenntnisse aus Nandas Analyse betrifft das, was in der scheinbar ereignislosen Phase zwischen dem Auswendiglernen und dem Grokking geschieht. Äußerlich stagniert das Modell. Die Genauigkeit bei den Testdaten bleibt niedrig. Es sieht so aus, als würde überhaupt nichts geschehen, doch im Inneren verhält es sich anders.

In dieser Phase baut das Modell einen Schaltkreis auf, der tatsächlich generalisiert. Gleichzeitig ist jedoch weiterhin der alte Schaltkreis aktiv, der sich die Beispiele lediglich merkt. Dieser erzeugt Rauschen und hindert den generalisierenden Schaltkreis daran, seine Wirkung vollständig zu entfalten. Grokking tritt in dem Moment ein, in dem der generalisierende Schaltkreis stark genug wird, damit das Modell den Schaltkreis zum Auswendiglernen selbst entfernt. Es bereinigt ihn. Darunter kommt anschließend der fertige Algorithmus zum Vorschein. Es ist, als würden zwei Lösungen um den Platz im Modell konkurrieren. Eine muss weichen, damit die andere gewinnen kann.

Nanda weist darauf hin, dass dies in direktem Zusammenhang mit Phasenübergängen steht, also mit plötzlichen Sprüngen bei den Fähigkeiten von Modellen im Laufe des Trainings. Diese treten auch bei großen Modellen auf, die mit realen Daten trainiert werden. Ein Beispiel: Beim Skalieren erlangen Transformer plötzlich die Fähigkeit, aus Zusammenhängen im Kontext zu lernen. Diese Fähigkeit entsteht nicht allmählich, sondern sprunghaft in dem Moment, in dem das Modell einen spezifischen Schaltkreis bildet, der als Induktionsköpfe bezeichnet wird.

Die Struktur dieses Übergangs ähnelt dem Grokking stark. Das Modell baut im Verborgenen eine Fähigkeit auf, die sich äußerlich erst zeigt, wenn sie ausgereift/fertig ist. Dann schaltet es um. Dies deutet darauf hin, dass ein großer Teil dessen, was wir bei großen Modellen als rätselhaftes plötzliches Verhalten wahrnehmen, auf genau demselben Mechanismus beruhen könnte wie Grokking bei einfacher Arithmetik.

Ein Blick in die Blackbox

Lange wurde angenommen, dass große Modelle ihrem Wesen nach undurchschaubar sind. Wir wissen, was sie erzeugen, aber nicht, warum. Die mechanistische Interpretierbarkeit stellt diese Annahme infrage. Nandas Analyse des Grokkings ist einer der wenigen Fälle, in denen es gelungen ist, einen Algorithmus direkt aus den Gewichten eines Netzes vollständig rückwirkend zu rekonstruieren. Und nachzuweisen, dass genau dieser Algorithmus für die Leistung des Modells verantwortlich ist.

Ein Modell, das ausschließlich anhand von Beispielen trainiert wurde, leitete selbstständig Mathematik her, für deren Entwicklung Menschen Jahrhunderte benötigten. Und wir fanden das heraus, indem wir einfach hineinschauten. Wie viele weitere Mechanismen warten dort noch?

Quelle: alignmentforum.org