Der Versuch, künstliche Intelligenz mit eigenen Antworten zu trainieren, führt zu einer Halluzinationsrate von 99 %

Was passiert, wenn man einem Sprachmodell beibringt, sich selbst in dem Moment nachzuahmen, in dem es die richtige Antwort kennt, und es anschließend eine Aufgabe lösen lässt, bei der ihm diese Antwort nicht vorliegt? Es beginnt, sie zu erfinden. Genau das beschreibt eine neue Arbeit von Rishabh Tiwari und seinen Kollegen, die sich mit der sogenannten Selbstdestillation beschäftigt haben und feststellten, dass sie trotz ihres vielversprechenden Kerns zu Modellen führt, die halluzinieren, ihre eigenen Überlegungen nicht mehr überprüfen und unbekannte Aufgaben schlechter bewältigen.

Klären wir zunächst, worum es überhaupt geht. Verstärkungslernen trainiert ein Modell anhand eines spärlichen Signals, einer einzigen Zahl für den gesamten Lösungsweg. Entweder war die Lösung richtig oder nicht. Die On-Policy-Destillation ersetzt dies durch ein wesentlich dichteres Signal: Das Modell lernt, den Lehrer Token für Token nachzuahmen. Hat man einen guten Lehrer, lernt das Modell dasselbe mit deutlich weniger Rechenleistung. Thinking Machines gibt an, auf diese Weise mit etwa einem Zehntel der Rechenleistung Ergebnisse erzielt zu haben, die mit Verstärkungslernen vergleichbar sind. Dieselbe Methode wird auch von DeepSeek-V4 und Nemotron 3 verwendet.

Wann Destillation funktioniert und warum

Die entscheidende Frage lautet: Warum verbessert das Kopieren des Lehrers überhaupt den Schüler? Die Autoren haben darauf eine präzise Antwort. Ein guter Lehrer weist richtigen Antworten eine höhere Wahrscheinlichkeit zu als der Schüler und bleibt dem Schüler zugleich nahe genug, damit dieser ihn nachahmen kann. Zwei Arten von Lehrern verhalten sich so. Ein größeres Modell derselben Familie, das dieselben Trainingsdaten nutzt und leistungsfähiger ist. Und ein Experte, also ein Modell, das mithilfe von Verstärkungslernen auf die jeweilige Domäne nachtrainiert wurde.

Nimmt man einen optimalen Lehrer, verhält sich die Destillation genauso wie Verstärkungslernen mit der Einschränkung, dass sich das Modell nicht zu weit von seiner ursprünglichen Form entfernen darf. Je näher der tatsächliche Lehrer diesem Ideal kommt, desto stärker erhöht die Destillation die Belohnung. Ist er weit davon entfernt, erhöht sie gar nichts.

Der Trick, der kostenlos einen Lehrer beschaffen soll

Und hier kommt die Selbstdestillation ins Spiel. Ihre Idee ist verlockend: Was wäre, wenn wir einen Lehrer ohne zusätzlichen Aufwand bekommen könnten? Man muss dem Schüler lediglich eine privilegierte Information in die Aufgabenstellung einfügen. Zum Beispiel die richtige Antwort, eine Musterlösung oder eine Liste der Fehler aus dem vorherigen Versuch. Dieser „besser informierte“ Schüler wird dann zu seinem eigenen Lehrer.

Der Haken liegt darin, wie ein solcher informierter Schüler denkt. Zunächst benennt er die privilegierte Information und passt dann seine Überlegungen rückwirkend an sie an. Und genau diese Form des Denkens lernt der Schüler. Er lernt sie jedoch fest und bedingungslos. Deshalb wird sie auch im realen Einsatz aktiviert, wenn die Aufgabenstellung keinerlei Hinweis enthält.

Die Autoren überprüften dies direkt anhand der Wettbewerbsaufgaben in Mathematik von Polaris. Für jede Antwort berechneten sie, wie stark der jeweilige Lehrer sie gegenüber dem Schüler bevorzugt. Der Experte verhielt sich wie erwartet: Richtigen Antworten wies er eine um etwa 6 Nat höhere Wahrscheinlichkeit zu als falschen. Der Selbstdestillationslehrer tat dies nicht. Seine Bewertung unterschied kaum zwischen richtigen und falschen Antworten. Wenn man bei einer offenen Mathematikaufgabe nur das Endergebnis kennt, macht einen das nicht klüger darin, wie man dorthin gelangt.

Noch aussagekräftiger war das Verhalten bei Antworten, die das Modell nach dem Selbstdestillationstraining tatsächlich erzeugte. In 77 Prozent der Fälle beriefen sie sich auf eine erfundene Quelle. Der Experte wies ihnen eine deutlich niedrigere Wahrscheinlichkeit zu, etwa um 13 Nat. Der Selbstdestillationslehrer dagegen eine um 70 Nat höhere, unabhängig davon, ob die Antwort richtig oder falsch war. Er verstärkte die Form der Antwort, nicht ihre Richtigkeit.

Das Modell zitiert Quellen, die es nie erhalten hat

Wie sieht das in der Praxis aus? Nehmen wir eine Chemieaufgabe vom Ende des Trainings. Die richtige Antwort ist C, und das Modell trifft sie. Doch in seiner Argumentation stehen Sätze wie „aus der Referenz weiß ich, dass drei Pyrrolidinringe 3 × 71,08 = 213,24 g/mol ergeben“. In der Aufgabenstellung gibt es keine Referenz. Das Modell hat sie erfunden und rechnet auf ihrer Grundlage. Bei Aufgaben mit Werkzeugen ist es dasselbe: „Die vorherige Lösung ist bereits richtig, also wiederhole ich sie einfach.“ Es gibt keine vorherige Lösung.

Das ist kein Zufall. Laut der Bewertung durch ein anderes Sprachmodell erreicht die Halluzinationsrate in den letzten Trainingsschritten 99 Prozent bei Chemie, 100 Prozent bei Aufgaben mit Werkzeugen und 70 Prozent bei Mathematik. Beim Verstärkungslernen bleibt sie dagegen nahe null. Und das Schlimmste ist, dass dieses Verhalten auch bei völlig anderen Aufgaben bestehen bleibt. Ein auf Chemie trainiertes Modell erfand bei 82 bis 98 Prozent aller Tests Quellen, einschließlich Physik-, Code- und Mathematikaufgaben.

Warum geschieht das? Der Schüler ahmt eine Version seiner selbst nach, die privilegierte Informationen sieht, und zwar bei Ausgaben, bei denen er diese Informationen nicht sehen kann. Er hat keine Möglichkeit zu reproduzieren, was diese informierte Version weiß. Er kann nur die Form kopieren: die Antwort sofort behaupten, sie einer Quelle zuschreiben und sie anschließend nicht mehr infrage stellen.

Schwindende Zweifel und schlechtere Ergebnisse bei unbekannten Aufgaben

Mit den Halluzinationen tritt ein zweites Problem auf. Das Modell hört auf zu zögern. Die Autoren zählten Ausdrücke wie „warte“, „eigentlich“, „vielleicht“ oder „oder“, die darauf hindeuten, dass das Modell sein eigenes Vorgehen überprüft. Bei Chemie sank ihre Anzahl von etwa 86 pro Antwort auf unter 10, also um rund 90 Prozent. Beim Verstärkungslernen blieb die Rate stabil. Dieselbe Funktion, die erfundene Quellen produziert, nimmt dem Modell zugleich seine Unsicherheit. Es hört auf, alternative Wege zu verfolgen, hört auf zu kontrollieren und versteift sich auf eine einzige selbstsichere Antwort.

Das dritte Problem ergibt sich logisch aus den beiden vorherigen. Bei unbekannten Aufgaben versagt das Modell. Die Selbstdestillation lag bei Chemie um 25 Punkte, bei Werkzeugaufgaben um 6 Punkte und bei Mathematik um 20 Punkte hinter dem Verstärkungslernen. Innerhalb der bekannten Domäne schwankten die Ergebnisse hingegen: Bei Chemie gewann die Selbstdestillation, bei Werkzeugaufgaben erreichte sie ein Unentschieden, bei Mathematik verlor sie. Und selbst der Sieg bei Chemie ist etwas aufgebläht, weil 64 Prozent der Validierungsaufgaben ein Molekül aus dem Training wiederverwendeten.

Eine einfache Lösung gibt es nicht

Die Autoren probierten beide naheliegenden Ansätze aus. Zunächst eine bessere Aufgabenstellung. Ein von der GEPA-Methode optimierter Hinweis senkte die Halluzinationsrate bei Chemie von 96 auf 28 Prozent und holte einen Teil des Rückstands bei unbekannten Aufgaben auf. Bei Aufgaben mit Werkzeugen scheiterte er jedoch, weil er zu stark auf die Trainingsdaten zugeschnitten war und bei neuen Werkzeugnamen nicht mehr funktionierte. Bei Mathematik half er überhaupt nicht.

Danach folgten Anpassungen an der Zielfunktion selbst. Drei Varianten fügten ein Element des Verstärkungslernens hinzu oder beschnitten das Destillationssignal. Jede von ihnen verringerte die Halluzinationen, eine senkte ihre Rate sogar von hundert Prozent auf nahezu null. Keine erreichte jedoch bei unbekannten Aufgaben die Ergebnisse reinen Verstärkungslernens. Zwei Varianten gerieten bei Chemie sogar aus dem Takt, sodass der Lauf etwa beim hundertsten Schritt abgebrochen werden musste.

Das Muster bleibt immer gleich. Was hilft, hilft dadurch, dass es den Einfluss der Destillation selbst abschwächt. Es maskiert den Gradienten dort, wo er dem Verstärkungslernen widerspricht, verringert sein Gewicht oder verbessert das Ziel, auf das hin destilliert wird. All diese Anpassungen verschieben die Funktion in Richtung Verstärkungslernen, und keine erreicht den Punkt, an dem sich reines Verstärkungslernen längst befindet.

Die Autoren schreiben die Selbstdestillation dennoch nicht vollständig ab. Andere Möglichkeiten, privilegierte Informationen zu nutzen, funktionieren gut. Zum Beispiel POPE, das während des Verstärkungslernens partielle Musterlösungen hinzufügt, oder FST, das den Hinweis als bessere Signalquelle im Kontext belässt, anstatt ihn direkt in die Gewichte einzubrennen. Bei der Entwicklung solcher Methoden empfehlen sie, mehr als nur die Genauigkeit innerhalb einer bekannten Domäne zu beobachten. Dazu gehören auch die Halluzinationsrate, die Anzahl zweifelnder Formulierungen und die Erfolgsquote bei unbekannten Aufgaben.