Eine neue Studie von Google kommt zu einer überraschenden Erkenntnis: Fortschrittliche KI-Modelle wie DeepSeek-R1 und QwQ-32B erreichen eine hohe Genauigkeit, indem sie intern eine Debatte zwischen unterschiedlichen Perspektiven, Persönlichkeitsmerkmalen und Fachgebieten simulieren. Dieses Konzept, das die Forschenden als „Gesellschaft der Gedanken“ bezeichneten, verbessert die Leistung der Modelle bei der Lösung komplexer Aufgaben erheblich. Die Studie zeigt, dass mithilfe von Reinforcement Learning trainierte Modelle spontan die Fähigkeit entwickelt haben, diese internen Gespräche ohne explizite Anweisungen zu führen.
Wie funktioniert die Gesellschaft der Gedanken?
Die grundlegende Idee stammt aus der Kognitionswissenschaft – menschliches Denken entwickelte sich in erster Linie als sozialer Prozess zur Lösung von Problemen durch Argumentation und die Einbeziehung unterschiedlicher Blickwinkel. Kognitive Vielfalt, die aus Unterschieden bei Fachwissen und Persönlichkeitsmerkmalen entsteht, verbessert die Problemlösung, insbesondere wenn sie von authentischem Widerspruch begleitet wird.
Bei Modellen wie DeepSeek-R1 zeigt sich diese „Gesellschaft“ direkt in der Gedankenkette. Es werden weder separate Modelle noch spezielle Prompts benötigt – die Debatte entsteht autonom innerhalb des Denkprozesses einer einzigen Modellinstanz.
Konkrete Beispiele
Die Studie liefert greifbare Belege. In einem Experiment mit einem komplexen Problem aus der organischen Chemie simulierte DeepSeek-R1 eine Debatte zwischen verschiedenen internen Perspektiven, darunter dem „Planer“ und dem „Kritischen Prüfer“.
Der Planer schlug zunächst einen standardmäßigen Reaktionsweg vor. Der Kritische Prüfer (gekennzeichnet durch hohe Gewissenhaftigkeit und geringe Verträglichkeit) erhob jedoch einen Einwand: „Moment, das kann nicht stimmen ... es ist Cyclohexa-1,3-dien, nicht Benzol.“ Durch diese widersprechende Überprüfung entdeckte das Modell den Fehler, brachte die gegensätzlichen Sichtweisen in Einklang und korrigierte den Syntheseweg.
Eine ähnliche Dynamik zeigte sich auch bei kreativen Aufgaben. Beim Umschreiben eines Satzes simulierte das Modell eine Verhandlung zwischen dem „Kreativen Ideengeber“ und dem „Prüfer der semantischen Treue“. Nach dem Vorschlag des Ideengebers wandte der Prüfer ein: „Aber dadurch wird ‚tief verwurzelt‘ hinzugefügt, was im Original nicht enthalten war. Wir sollten vermeiden, neue Gedanken hinzuzufügen.“
Die beeindruckendste Entwicklung trat beim „Countdown Game“ auf, einem mathematischen Rätsel, bei dem das Ziel darin besteht, sechs zufällige Zahlen mithilfe grundlegender Rechenoperationen so zu kombinieren, dass eine dreistellige Zielzahl erreicht (oder ihr möglichst nahegekommen) wird. Anfangs löste das Modell das Problem mit einem monologischen Ansatz. Während es mithilfe von Reinforcement Learning lernte, teilte es sich spontan in zwei unterschiedliche Rollen auf: den „Methodischen Problemlöser“, der die Berechnungen durchführte, und den „Erkundenden Denker“, der den Fortschritt überwachte und erfolglose Ansätze mit Bemerkungen wie „Wieder kein Glück ... Vielleicht können wir versuchen, negative Zahlen zu verwenden“ abbrach.
Belege aus dem Aktivierungsraum
Die überzeugendsten Belege stammen aus dem Einsatz von Sparse Autoencoders zur Untersuchung der Aktivierungen von DeepSeek-R1-Llama-8B. Die Forschenden identifizierten ein spezifisches Merkmal im Residualstrom (Schicht 15, Merkmal 30939), das als Diskursmarker für Überraschung, Erkenntnis oder Bestätigung fungiert (es wird häufig bei Tokens wie „Oh!“ oder „Moment“ aktiviert).
Als die Forschenden dieses Merkmal durch Aktivierungsaddition künstlich steuerten, beobachteten sie einen kausalen Zusammenhang mit der Leistung. Eine Erhöhung der Steuerungsstärke auf +10 bei der Countdown-Rechenaufgabe verdoppelte die Genauigkeit des Denkprozesses nahezu von 27,1 % auf 54,8 %. Umgekehrt unterdrückte eine negative Steuerung des Merkmals das dialogische Verhalten und verschlechterte die Leistung.
Experimente mit Reinforcement Learning
Die Forschenden führten kontrollierte Experimente mithilfe des Verl-Frameworks mit Proximal Policy Optimization (PPO) durch. Sie verwendeten das Modell Qwen-2.5-3B als Grundlage und verglichen eine standardmäßige Baseline mit einem Modell, das durch Supervised Fine-Tuning (SFT) anhand synthetischer Multi-Agenten-Dialoge „vorbereitet“ worden war.
Die Ergebnisse waren bemerkenswert: Auf Konversation vorbereitete Modelle lernten deutlich schneller. Nach 40 Schritten des RL-Trainings erreichte das auf Konversation vorbereitete Modell eine Genauigkeit von etwa 38 %, während das auf Monolog vorbereitete Modell mit 28 % zurückblieb.
Was folgt aus der Forschung?
James Evans, Mitautor der Studie, betont die praktischen Auswirkungen: „Es reicht nicht aus, eine ‚Debatte zu führen‘, vielmehr braucht es unterschiedliche Sichtweisen und Dispositionen, die eine Debatte unvermeidlich machen und es ihr ermöglichen, Alternativen zu untersuchen und zwischen ihnen zu unterscheiden.“ Für Entwickler bedeutet dies, damit aufzuhören, Trainingsdaten von „Unordnung“ zu bereinigen. Modelle, die anhand von Konversationsdaten feinabgestimmt wurden (beispielsweise Transkripte von Multi-Agenten-Debatten und Problemlösungen), verbessern ihr Denkvermögen deutlich schneller als Modelle, die anhand sauberer Monologe trainiert wurden. Evans fügt hinzu: „Wir trainierten mit einem dialogischen Gerüst, das zu einer falschen Antwort führte, verstärkten anschließend das Modell und stellten fest, dass es genauso gut funktionierte wie bei einer Verstärkung anhand richtiger Antworten. Dies deutet darauf hin, dass die dialogischen Gewohnheiten bei der Erkundung von Lösungen für neue Probleme am wichtigsten waren.“
Die Studie liefert zudem ein neues Argument für Open-Weight-Modelle gegenüber geschlossenen APIs, da die Transparenz interner Debatten für die Vertrauenswürdigkeit in kritischen Anwendungen entscheidend wird.
