AB-MCTS: Eine neue Methode, die verschiedenen KI-Modellen die Zusammenarbeit ermöglicht

Sakana AI hat den bahnbrechenden Algorithmus AB-MCTS (Adaptive Branching Monte Carlo Tree Search) vorgestellt, der führenden KI-Modellen die Zusammenarbeit bei der Lösung komplexer Probleme ermöglicht. Die Kombination der Modelle o4-mini, Gemini-2.5-Pro und DeepSeek-R1-0528 erzielt mithilfe von AB-MCTS beim anspruchsvollen Benchmark ARC-AGI-2 deutlich bessere Ergebnisse als jedes dieser Modelle einzeln.

Diese Technologie stellt eine neue Richtung im Bereich der Inferenzskalierung dar, bei der die Leistung durch zusätzliche Rechenressourcen während der eigentlichen Nutzung des Modells verbessert wird.

Inspiration durch menschliche Zusammenarbeit

Sakana AI geht von der Beobachtung aus, dass die größten menschlichen Errungenschaften wie das Apollo-Programm, die Entstehung des Internets oder das Human Genome Project durch kollektive Intelligenz verwirklicht wurden. Dasselbe Prinzip erweist sich auch für künstliche Intelligenz als nützlich.

Führende KI-Modelle wie ChatGPT, Gemini, Grok und DeepSeek bewahren ihre Individualität, die sich aus ihren einzigartigen Trainingsdaten und -methoden ergibt. Anstatt diese Unterschiede als Einschränkungen zu betrachten, sieht Sakana AI sie als wertvolle Ressourcen für die Schaffung kollektiver Intelligenz.

Prinzipien der Inferenzskalierung

Inferenzskalierung ist ein Paradigma, bei dem die Leistung bei einem komplexen Problem durch die Zuweisung zusätzlicher Rechenressourcen während der Inferenz verbessert werden kann. Einer der Ansätze ist der Einsatz von bestärkendem Lernen zur Erzeugung längerer Gedankenketten, was die Fähigkeiten von „Reasoning-Modellen“ wie OpenAI o1/o3 und DeepSeek R1 drastisch gesteigert hat.

Neben der bloßen Bereitstellung von mehr „Bedenkzeit“ können wir das Modell ein Problem wiederholt bearbeiten, seine Antworten anpassen und bei Bedarf noch einmal von vorne beginnen lassen – ähnlich wie ein Programmierer bei der Lösung eines komplexen Codeproblems.

Navigation durch zwei Suchdimensionen

AB-MCTS kombiniert zwei Ansätze: Sequential Refinement (Tiefensuche) zur Verbesserung bestehender Lösungen und Repeated Sampling (Breitensuche) zur Generierung neuer Lösungen. Obwohl beide Ansätze effektiv sind, gab es bislang keine Möglichkeit, sie effizient miteinander zu kombinieren.

AB-MCTS löst dieses Problem durch eine flexible Suche in beide Richtungen, die sich an das Problem und den Kontext anpasst. Wenn eine vielversprechende Lösung gefunden wird, kann das System sie wiederholt verbessern und zugleich die Generierung völlig neuer Lösungen ausgewogen fortsetzen.

Der Algorithmus erweitert die Monte Carlo Tree Search (MCTS) und verwendet Thompson Sampling, um über die Suchrichtung zu entscheiden. An jedem Knoten verwendet AB-MCTS probabilistische Modelle, um die potenzielle Qualität zweier möglicher Aktionen abzuschätzen: die Generierung einer neuen Lösung oder die Verbesserung einer bestehenden Lösung.

Multi-LLM AB-MCTS

Um das Potenzial mehrerer Modelle als kollektive Intelligenz zu maximieren, hat Sakana AI Multi-LLM AB-MCTS entwickelt, das adaptiv nicht nur die Suchrichtung untersucht, sondern auch auswählt, welches Modell für das jeweilige Problem eingesetzt werden soll. Zusätzlich zu den Optionen „neue Lösung generieren“ und „bestehende Lösung verbessern“ kommt ein neuer Schritt hinzu: die Auswahl des zu verwendenden Modells.

Das System verwendet in den Anfangsphasen ausgewogene Modellmischungen und konzentriert sich anschließend auf diejenigen, die sich als vielversprechender erweisen. Dies kann als Multi-Armed-Bandit-Problem verstanden werden, bei dem sich das System an veränderliche Eingaben auf Grundlage der generierten Antworten anpassen muss.

Experimentelle Ergebnisse bei ARC-AGI-2

Die Experimente wurden mit dem Benchmark ARC-AGI-2 durchgeführt, der darauf abzielt, menschenähnliche, flexible Intelligenz zu bewerten, die effizient schlussfolgern und neue Probleme lösen kann. Im Experiment wurde die maximale Anzahl der Suchiterationen auf 250 festgelegt und die Modelle wurden angewiesen, eine Transformationsregel als Python-Code zu generieren.

Repeated Sampling mit o4-mini war bei 23% der Probleme erfolgreich. AB-MCTS verbesserte das Ergebnis jedoch auf 27,5%. Mithilfe von Multi-LLM AB-MCTS konnten für mehr als 30% der Probleme korrekte Lösungen gefunden werden. Interessanterweise funktioniert DeepSeek-R1-0528 allein zwar nicht besonders gut, doch seine Einbindung in Multi-LLM AB-MCTS erhöhte die Anzahl der lösbaren Probleme effektiv.

Dynamische Zuweisung und Zusammenarbeit

Ein wesentliches Merkmal von Multi-LLM AB-MCTS ist die Fähigkeit, Modelle dynamisch auf Grundlage ihrer Eignung für ein bestimmtes Problem zuzuweisen. Der Algorithmus ermittelt während des Suchprozesses, welches Modell für das jeweilige Problem am effektivsten ist, und erhöht anschließend die Nutzungshäufigkeit dieses Modells.

Es gab Beispiele, bei denen Probleme, die von keinem einzelnen Modell gelöst werden konnten, durch die Kombination mehrerer Modelle bewältigt wurden. In einem Fall war die ursprünglich von o4-mini generierte Lösung zwar falsch, doch DeepSeek-R1-0528 und Gemini-2.5-Pro konnten sie als Hinweis nutzen, um zur richtigen Lösung zu gelangen.

Potenzial für die zukünftige Nutzung

Die Fähigkeit, die Stärken verschiedener führender Modelle zu kombinieren, eröffnet neue Möglichkeiten zur Lösung komplexer Aufgaben, die über die Fähigkeiten einzelner Modelle hinausgehen. Sakana AI hat den grundlegenden Algorithmus unter dem Namen TreeQuest und der Apache-2.0-Lizenz veröffentlicht, sodass Nutzer AB-MCTS und Multi-LLM AB-MCTS mit minimalem Code auf verschiedene Aufgaben anwenden können. Diese Technologie demonstriert nicht nur die Stärke kollektiver Intelligenz in der KI, sondern weist auch den Weg zu einer effizienteren Nutzung bestehender KI-Ressourcen und stellt einen konkreten Schritt zur Verwirklichung der Vision zusammenarbeitender KI-Systeme dar.