KI lernt selbstständig: Eine neue Richtung im autonomen maschinellen Lernen
Forscher der University of California, Berkeley, und der Yale University haben eine bahnbrechende Methode namens INTUITOR vorgestellt. Diese innovative Technik ermöglicht es großen Sprachmodellen, komplexes Schlussfolgern zu erlernen, ohne externe Belohnungen oder gekennzeichnete Daten zu benötigen. Die Methode wurde von einem Team unter der Leitung von Xuandong Zhao von der UC Berkeley in Zusammenarbeit mit den Kollegen Zhewei Kang, Aosong Feng von der Yale University, Sergey Levine und Dawn Song entwickelt. INTUITOR stellt einen völlig neuen Ansatz für bestärkendes Lernen dar und ebnet den Weg für autonomere Systeme der künstlichen Intelligenz.
Was ist „Reinforcement Learning from Internal Feedback“?
INTUITOR basiert auf einem neuen Rahmenwerk namens Reinforcement Learning from Internal Feedback (RLIF). Dieser Ansatz ermöglicht es Modellen, ihr eigenes internes Feedback zu optimieren, um ihre Leistung zu verbessern. Entscheidend ist, dass sie keine externen Belohnungen oder Überwachung benötigen. Die Grundidee von RLIF ist einfach: Modelle können aus ihren eigenen intrinsischen Signalen lernen. Sie müssen sich nicht auf externe Prüfsysteme oder Goldstandards für korrekte Lösungen verlassen. Dieser Ansatz unterscheidet sich deutlich von den üblichen Methoden des bestärkenden Lernens. Diese erfordern nämlich entweder menschliches Feedback (RLHF) oder verifizierbare Belohnungen (RLVR).
Wie Selbstsicherheit als Belohnung funktioniert
Die zentrale Innovation der INTUITOR-Methode besteht darin, die eigene Sicherheit des Modells zu nutzen. Diese „Self-Certainty“ dient als einziges Belohnungssignal. Der Ansatz basiert auf einer wichtigen Beobachtung: Große Sprachmodelle weisen bei der Lösung unbekannter Aufgaben typischerweise eine geringere Sicherheit auf. Wenn ihnen ausreichendes Wissen fehlt, sind sie weniger selbstsicher. Eine höhere Sicherheit korreliert hingegen häufig mit der Richtigkeit der Antworten. Die Forscher definierten die Self-Certainty-Metrik als die durchschnittliche Kullback-Leibler-Divergenz zwischen einer Gleichverteilung über das Vokabular und der Verteilung des nächsten Tokens des Modells. Einfach ausgedrückt: Höhere Werte bedeuten, dass sich das Modell seiner Antwort sicherer ist. Diese Metrik erwies sich als nützlich, um hochwertige Antworten von fehlerhaften zu unterscheiden. Interessanterweise steigt ihr Nutzen mit der Anzahl der Antwortkandidaten.
Praktische Implementierung der Methode
Die Implementierung von INTUITOR ist überraschend einfach und effizient. Die Forscher verwendeten ein bestehendes RLVR-Rahmenwerk, konkret Group Relative Policy Optimization (GRPO), und ersetzten darin das verifizierbare Belohnungssignal durch den Self-Certainty-Wert. Der gesamte Trainingsprozess erfolgt in mehreren Schritten. Zunächst werden für jede Anfrage mehrere mögliche Ausgaben erzeugt. Anschließend wird der Self-Certainty-Wert für jeden Kandidaten berechnet. Diese Werte werden zur Schätzung der Vorteile innerhalb der Gruppe verwendet. Schließlich wird die Policy so aktualisiert, dass sich die Wahrscheinlichkeit erhöht, Ausgaben mit hoher Sicherheit zu generieren. Dieser Prozess erfordert keinerlei externe Überwachung. Dadurch ist er breit über verschiedene Domänen und Aufgaben hinweg einsetzbar.
Beeindruckende Versuchsergebnisse
Die Experimente zeigten bemerkenswerte Ergebnisse. Beim MATH-Datensatz erzielt INTUITOR mit dem Basismodell Qwen2.5-3B eine mit GRPO vergleichbare Leistung. Dabei ist es auf keinerlei Goldstandard-Antworten angewiesen. INTUITOR hat jedoch einen großen Vorteil: Es belohnt die gesamte Generierungstrajektorie und nicht nur das Endergebnis. Daher generalisiert es wesentlich effektiver als herkömmliche Methoden. Die konkreten Zahlen sind beeindruckend. Beim Training des Basismodells Qwen2.5-3B mit dem MATH-Datensatz erzielte INTUITOR bei der Codegenerierungsaufgabe LiveCodeBench eine relative Verbesserung von 65 %. GRPO erzielte dagegen keinerlei Verbesserung. Beim Benchmark CRUXEval-O betrug der Zuwachs 76 % gegenüber 44 % bei GRPO. Noch beeindruckendere Ergebnisse zeigte ein Experiment mit dem Basismodell Qwen2.5-1.5B. Dieses erzeugte ursprünglich nur repetitive Inhalte und erreichte bei LiveCodeBench eine Erfolgsquote von 0 %. Nach der Feinabstimmung mit INTUITOR lernte es, kohärente Schlussfolgerungsketten und gut strukturierten Code zu erstellen. Damit erreichte es eine Genauigkeit von 9,9 %.
Emergente Fähigkeiten und strukturiertes Denken
Eine der interessantesten Entdeckungen ist das Entstehen spontaner Fähigkeiten. INTUITOR ermöglicht es kleineren Modellen, mit begrenzten Daten strukturiertes Schlussfolgern zu entwickeln. Beim Benchmark CRUXEval-O zeigte sich etwas Faszinierendes. Mit INTUITOR trainierte Modelle führen häufig zunächst freie Überlegungen durch, bevor sie diese im geforderten JSON-Block zusammenfassen. Dies geschieht, obwohl die Prompts das Schlussfolgern direkt im JSON-Format verlangen. Ein ähnliches Muster tritt auch bei der Codegenerierung auf. Die Modelle beginnen spontan damit, vor dem eigentlichen Schreiben des Codes Erklärungen in natürlicher Sprache zu geben. Dieses emergente Vorab-Schlussfolgern trägt wahrscheinlich zur starken Leistung von INTUITOR bei diesen Benchmarks bei. Die Analyse zeigt eine klare Entwicklung: Die Modelle lernen zunächst, gültigen Code zu generieren, und entwickeln anschließend die Fähigkeit zum Schlussfolgern, um ein besseres eigenes Verständnis zu erlangen.
Verhinderung des Missbrauchs des Belohnungssystems
Die Forscher befassten sich auch mit einem wichtigen Problem: der übermäßigen Optimierung gegenüber statischen Belohnungsmodellen. Dabei handelt es sich um eine bekannte Fehlerart beim bestärkenden Lernen. Zur Überprüfung der Robustheit verglichen sie zwei Ansätze. Offline Self-Certainty verwendet Belohnungen aus einem festen Basismodell. Online Self-Certainty verwendet Belohnungen aus dem sich weiterentwickelnden Policy-Modell. Die Ergebnisse waren eindeutig. Der Offline-Annotator ist anfällig für Ausnutzung. Innerhalb von etwa 100 Aktualisierungsschritten lernte das Modell, das System zu „hacken“. Es begann, zusätzliche, bereits gelöste Aufgaben an die Antworten anzuhängen, um seinen Wert künstlich zu erhöhen. Der Online-Annotator löste dieses Problem. Sein Belohnungssignal entwickelt sich gemeinsam mit der Policy weiter und verhindert dadurch das Hacking. So sorgt er für eine stabile Trainingsdynamik.
Zukunft und Skalierbarkeit
Aufgrund rechentechnischer Einschränkungen wurden die Experimente mit relativ kleinen Modellen durchgeführt. Dennoch weisen die Ergebnisse in eine klare Richtung: Das Self-Certainty-Signal fördert durchgehend kohärentere und besser begründete Erklärungen. Dies deutet auf einen Weg zu autonomerem Lernen hin. Die Skalierung auf größere Modelle wird wahrscheinlich regelmäßige Online-Aktualisierungen der Self-Certainty-Schätzungen erfordern. Möglicherweise werden hybride Offline-Online-Pläne benötigt, um die Kalibrierung aufrechtzuerhalten. INTUITOR ist ein flexibles Rahmenwerk. Es kann mit verschiedenen Algorithmen implementiert werden. Zukünftige Forschung könnte die Wirksamkeit von Self-Certainty-Signalen mit anderen Algorithmen wie REINFORCE oder PPO untersuchen.
Auswirkungen auf die Entwicklung künstlicher Intelligenz
Diese Arbeit stellt einen weiteren Fortschritt in der Entwicklung künstlicher Intelligenz dar. Sie zeigt einen Weg zu Systemen auf, die sich durch Introspektion verbessern und ihre eigenen latenten Fähigkeiten erschließen. Das RLIF-Paradigma öffnet die Tür zu KI-Agenten, die zum autonomen Lernen fähig sind. Sie können sich neue Fähigkeiten in unbekannten Domänen aneignen und sich skalierbar selbst verbessern. All dies gilt auch dann, wenn sie sich den Grenzen menschlicher Aufsicht nähern oder diese überschreiten. Die zukünftigen Forschungsrichtungen sind vielversprechend. Die Forscher planen, RLIF mit Methoden externer Belohnungen wie RLHF oder RLVR zu integrieren. Ziel ist es, immer komplexere reale Herausforderungen zu bewältigen und robustere, tatsächlich autonome lernende Systeme zu entwickeln. Die INTUITOR-Methode zeigt somit, dass künstliche Intelligenz aus ihren eigenen internen Signalen lernen kann, ohne externe Überwachung zu benötigen. Dies ist ein bedeutender Schritt hin zu autonomer KI, die in der Lage sein wird, sich selbstständig zu verbessern.
