Hierarchisches Schlussfolgerungsmodell (HRM): 100-mal schnelleres Schlussfolgern als LLMs

Stellen Sie sich vor, künstliche Intelligenz (KI) könnte komplexe Rätsel wie extrem schwierige Sudokus oder Labyrinthe schneller und mit weniger Daten lösen als die heutigen riesigen Sprachmodelle. Genau das ermöglicht ein neues Modell namens Hierarchical Reasoning Model (HRM), das vom singapurischen Unternehmen Sapient Intelligence entwickelt wurde. Dieses vom menschlichen Gehirn inspirierte Modell stellt einen Durchbruch im Bereich des logischen Schlussfolgerns dar und könnte verändern, wie KI in der Medizin, bei Klimaprognosen oder in der Robotik hilft. Sehen wir uns an, was es ist, wie es funktioniert und warum es ein so großes Potenzial besitzt.

Was ist das Hierarchical Reasoning Model (HRM)?

Das Hierarchical Reasoning Model (HRM) ist eine neue KI-Architektur, die Sapient Intelligence auf GitHub als Open Source veröffentlicht hat. Das Modell verfügt über lediglich 27 Millionen Parameter, was nur einem Bruchteil der Größe heutiger großer Sprachmodelle (LLMs) wie Claude 3.7 Sonnet oder OpenAI o3-mini-high entspricht. Dennoch erzielt es außergewöhnliche Ergebnisse bei Aufgaben, die tiefgreifendes Schlussfolgern erfordern, etwa abstraktes Denken oder das Finden optimaler Wege. HRM benötigt keine riesigen Datenmengen – ihm genügen lediglich 1.000 Trainingsbeispiele, ganz ohne Vortraining oder spezielle Techniken wie Chain-of-Thought (Gedankenkette, CoT).

Das Modell ist so konzipiert, dass es die hierarchische Struktur des menschlichen Gehirns nachahmt, in dem verschiedene Bereiche auf unterschiedlichen Ebenen und mit unterschiedlichen Geschwindigkeiten arbeiten. Die Autoren, darunter Guan Wang, Jin Li, Yuhao Sun, Xing Chen, Changling Liu, Yue Wu, Meng Lu, Sen Song und Yasin Abbasi Yadkori, beschreiben HRM in der Dokumentation als ein System, das komplexe sequenzielle Aufgaben in einem einzigen Durchlauf löst, ohne dass die Zwischenschritte explizit überwacht werden müssen. Im Gegensatz zu LLMs, die auf die Erzeugung textbasierter Schritte angewiesen sind, schlussfolgert HRM im latenten Raum – also intern, ohne alles in Worte umwandeln zu müssen.

Wie funktioniert HRM?

HRM basiert auf zwei miteinander verbundenen rekurrenten Modulen, die ähnlich wie das Gehirn auf unterschiedlichen Zeitskalen arbeiten. Das übergeordnete Modul (H-Modul) übernimmt die langsame, abstrakte Planung – als würde es über die Gesamtstrategie nachdenken. Das untergeordnete Modul (L-Modul) verarbeitet hingegen schnelle, detaillierte Berechnungen und löst konkrete Teilaufgaben. Diese Module arbeiten in einem als hierarchische Konvergenz bezeichneten Prozess zusammen, bei dem das L-Modul mehrere Schritte ausführt, bis es eine lokale Lösung erreicht. Anschließend aktualisiert das H-Modul den Plan und weist eine neue Teilaufgabe zu.

Dieser Ansatz ermöglicht es dem Modell, tiefgreifende Schlussfolgerungen anzustellen, ohne mit Problemen wie dem verschwindenden Gradienten (Vanishing Gradient) in tiefen Netzen oder der vorzeitigen Konvergenz in rekurrenten Architekturen konfrontiert zu sein. Beim Lösen eines Labyrinths untersucht HRM beispielsweise schrittweise verschiedene Wege: Das L-Modul durchsucht schnell einen Teil des Labyrinths, während das H-Modul die Richtung anhand der Ergebnisse anpasst. Der gesamte Prozess findet in einem einzigen Forward-Pass statt, was bedeutet, dass das Modell keine langen Textketten wie bei CoT erzeugen muss. Laut Guan Wang, dem Gründer von Sapient Intelligence, ermöglicht dies eine bis zu 100-mal schnellere Bearbeitung von Aufgaben als mit traditionellen LLMs, da HRM Informationen parallel im latenten Raum verarbeitet.

Das Modell wird mit spezifischen Datensätzen wie ARC-AGI (Abstraction and Reasoning Corpus), sudoku-extreme oder maze-30x30-hard trainiert. Für Sudoku wird der Datensatz beispielsweise mithilfe des Skripts build_sudoku_dataset.py erstellt, das 1.000 augmentierte Beispiele generiert. Das Training auf einer einzelnen GPU dauert für Sudoku etwa 10 Stunden und für ARC-AGI rund 24 Stunden, was deutlich weniger ist als bei großen Modellen. HRM nutzt für eine höhere Effizienz Techniken wie FlashAttention und ist mit PyTorch und CUDA kompatibel.

Leistung von HRM in Benchmarks

HRM zeichnet sich bei Aufgaben aus, an denen selbst fortschrittliche LLMs scheitern. Im Benchmark ARC-AGI-2 erzielte es einen Wert von 40,3 %, womit es OpenAI o3-mini-high (34,5 %) und Claude 3.7 Sonnet (21,2 %) übertrifft, obwohl diese Modelle über deutlich mehr Parameter und ein längeres Kontextfenster verfügen. Bei extrem schwierigen Sudoku-Aufgaben (Sudoku-Extreme) und der Suche nach optimalen Wegen in 30x30-Labyrinthen (Maze-Hard) erreicht HRM eine Genauigkeit von nahezu 100 %, während CoT-Methoden vollständig scheitern (0 %).

In ARC-AGI löst das Modell beispielsweise abstrakte Aufgaben wie die Transformation farbiger Raster mit lediglich 1.000 Beispielen. Beim Sudoku erfolgt das Training mit Parametern wie epochs=20000, lr=7e-5 und global_batch_size=384, was zu einer Leistung auf Meisterniveau führt. Für Labyrinthe genügt entsprechend eine Trainingsstunde auf 8 GPUs. Diese Ergebnisse zeigen, dass HRM keine riesigen Datenmengen benötigt – es lernt, Probleme effizient zu lösen, als würde sich ein Anfänger zum Experten entwickeln und dabei schrittweise immer weniger Schritte benötigen.

Zukunftspotenzial von HRM

Das Potenzial von HRM reicht weit über Rätsel hinaus. Sapient Intelligence testet das Modell bereits in realen Anwendungen, etwa zur Unterstützung komplexer Diagnosen in der Medizin, wo nur begrenzte Daten zu seltenen Erkrankungen verfügbar sind. Bei Klimavorhersagen erhöht es die Genauigkeit subseasonaler bis saisonaler Prognosen (S2S) auf 97 %, was direkte soziale und wirtschaftliche Auswirkungen hat. In der Robotik dient HRM als „Entscheidungsgehirn“ auf Geräten mit geringer Latenz und ermöglicht so Echtzeitreaktionen in dynamischen Umgebungen.

Guan Wang betont, dass HRM für deterministische Aufgaben, die eine langfristige Planung erfordern, eine Alternative zu teuren und mit hohen Latenzen belasteten LLMs bietet. Mit seinen niedrigen Trainingskosten (z. B. 2 GPU-Stunden für Sudoku und 50–200 für ARC-AGI) könnte das Modell Bereiche wie Logistik oder wissenschaftliche Forschung revolutionieren. Sapient plant eine Erweiterung um selbstkorrigierende Modelle, die heutige textbasierte Systeme übertreffen sollen. Dieser Ansatz, der auf einer vom Gehirn inspirierten Architektur statt auf bloßer Skalierung basiert, könnte zu universellen Systemen künstlicher allgemeiner Intelligenz (AGI) führen, mit denen KI die menschlichen Grenzen des Schlussfolgerns überwindet.