Das Unternehmen MiniMax hat das Modell MiniMax-M1 vorgestellt, das einen neuen Durchbruch im Bereich großer, auf logisches Denken ausgerichteter Sprachmodelle darstellt. Dieses Modell trägt den Titel des ersten quelloffenen großen Modells mit hybrider Aufmerksamkeitsarchitektur (Hybrid Attention). MiniMax-M1 basiert auf einer hybriden Mixture-of-Experts-Architektur (MoE) in Kombination mit dem Lightning-Attention-Mechanismus, was eine grundlegende Innovation bei der effizienten Verarbeitung langer Kontexte darstellt.

Das Modell baut auf dem vorherigen Modell MiniMax-Text-01 auf und umfasst insgesamt 456 Milliarden Parameter, wobei pro Token 45,9 Milliarden Parameter aktiviert werden. Diese Architektur ermöglicht es dem Modell, nativ einen Kontext von bis zu 1 Million Token zu unterstützen, was dem Achtfachen der Kontextgröße des Modells DeepSeek R1 entspricht. Der Lightning-Attention-Mechanismus ermöglicht zudem eine effiziente Skalierung der Rechenzeit während des Testens.

Technische Innovationen: Lightning-Attention-Mechanismus

Lightning Attention stellt die zentrale Innovation des Modells MiniMax-M1 dar und löst ein seit Langem bestehendes Problem traditioneller Transformer-Architekturen. Klassische Softmax-Attention-Mechanismen leiden unter einer quadratischen Rechenkomplexität, die eine kontinuierliche Erweiterung des Denkprozesses aufwendig macht. MiniMax-M1 löst dieses Problem mit einem hybriden Ansatz, bei dem auf jeweils sieben Transnormer-Blöcke mit Lightning Attention ein Transformer-Block mit Softmax Attention folgt.

Dieses Design ermöglicht theoretisch eine effiziente Skalierung der Denklängen auf Hunderttausende von Token. Im Vergleich zu DeepSeek R1 verbraucht M1 beispielsweise weniger als 50 % der FLOP (Gleitkommaoperationen pro Sekunde) bei der Generierung von 64K Token und etwa 25 % der FLOP bei einer Länge von 100K Token. Diese erhebliche Senkung des Rechenaufwands macht M1 sowohl bei der Inferenz als auch beim umfangreichen RL-Training (Reinforcement Learning) deutlich effizienter.

Architektur und Parameter des Modells

Das Modell MiniMax-M1 verwendet eine ausgefeilte hybride Architektur, die auf dem Mixture-of-Experts-Prinzip mit 32 Experten basiert. Die Gesamtzahl von 456 Milliarden Parametern bei einer Aktivierung von 45,9 Milliarden Parametern pro Token stellt ein optimales Gleichgewicht zwischen Leistung und Effizienz dar. Das Modell unterstützt nativ eine Kontextlänge von bis zu 1 Million Token, was eine erhebliche Erweiterung gegenüber aktuellen quelloffenen Modellen darstellt, die auf logisches Denken ausgerichtet sind.

Die Entwicklung des Modells M1 erfolgte in drei Hauptphasen. Zunächst wurde das Vortraining von MiniMax-Text-01 mit 7,5 Billionen Token aus einem sorgfältig zusammengestellten, auf logisches Denken ausgerichteten Korpus fortgesetzt. Anschließend wurde ein überwachtes Fine-Tuning (SFT) durchgeführt, um bestimmte Chain-of-Thought-Muster (CoT) des Denkens zu integrieren. Dadurch entstand eine solide Grundlage für das bestärkende Lernen, das die entscheidende Entwicklungsphase von M1 darstellt.

CISPO-Algorithmus: Revolution im bestärkenden Lernen

Eine der wichtigsten Innovationen von MiniMax-M1 ist ein neuer Algorithmus für bestärkendes Lernen namens CISPO (Clipped Importance Sampling Policy Optimization). Dieser Algorithmus verzichtet auf die Einschränkung durch die Trust Region und beschneidet stattdessen die Importance-Sampling-Gewichte, um das Training zu stabilisieren. Der CISPO-Ansatz nutzt stets alle Token für die Gradientenberechnungen und erreicht dadurch eine höhere Effizienz als die Algorithmen GRPO und DAPO.

In einer kontrollierten Studie auf Grundlage der Qwen2.5-32B-Modelle erreicht CISPO gegenüber DAPO eine zweifache Beschleunigung. Der Algorithmus wurde speziell zur Lösung von Problemen entwickelt, die mit dem Beschneiden von Token in den ursprünglichen PPO-/GRPO-Algorithmen verbunden sind. Die Forschenden stellten fest, dass Token, die mit reflexivem Verhalten verbunden sind (beispielsweise „Allerdings“, „Erneut prüfen“, „Warten“, „Aha“) und häufig als „Weggabelungen“ in Denkpfaden dienen, typischerweise selten waren und ihnen vom Basismodell niedrige Wahrscheinlichkeiten zugewiesen wurden.

Benchmark-Ergebnisse und Vergleiche

Das Modell MiniMax-M1 erzielt bei verschiedenen Benchmarks bemerkenswerte Ergebnisse. Beim mathematischen Denken erreicht MiniMax-M1-80k im AIME 2024 einen Wert von 86,0 % und belegt damit unter den Open-Weight-Modellen den zweiten Platz, nur hinter dem neuesten Modell DeepSeek-R1-0528. Beim allgemeinen Programmieren liegt MiniMax-M1-80k im LiveCodeBench gleichauf mit Qwen3-235B, während es dieses im FullStackBench übertrifft.

In komplexen Szenarien erzielt das Modell bedeutende Erfolge. Dank ausführungsbasierter Software-Engineering-Umgebungen während des RL erreichen MiniMax-M1-40k und MiniMax-M1-80k im verifizierten SWE-bench starke Werte von 55,6 % beziehungsweise 56,0 %. Durch die Nutzung ihres Kontextfensters von 1 Mio. Token übertreffen die M1-Modelle beim Verständnis langer Kontexte alle anderen Open-Weight-Modelle deutlich und schneiden sogar besser als OpenAI o3 und Claude 4 Opus ab.

Verfügbarkeit und zukünftige Entwicklung

Um die Zusammenarbeit und den Fortschritt in diesem Bereich zu fördern, hat MiniMax seine Modelle öffentlich auf GitHub und Hugging Face verfügbar gemacht. Die Modelle werden nun sowohl von vLLM als auch von Transformers unterstützt, einschließlich ausführlicher Anleitungen für die Bereitstellung. Das Unternehmen bietet außerdem eine kommerzielle Standard-API auf minimax.io an.

Die Forschenden trainierten zwei Versionen der MiniMax-M1-Modelle mit einer maximalen Generierungslänge von 40K und 80K Token, woraus die beiden Modelle MiniMax-M1-40k und MiniMax-M1-80k hervorgingen. MiniMax-M1-80k übertrifft MiniMax-M1-40k bei komplexen mathematischen und programmiertechnischen Aufgaben, was die Vorteile der Skalierung des Test-Time Compute weiter belegt.

Mit Blick auf die Zukunft gehen die Forschenden davon aus, dass solche effizienten Architekturen ein erhebliches Potenzial zur Bewältigung realer Herausforderungen bieten, da der Test-Time Compute kontinuierlich skaliert wird, um immer komplexere Szenarien zu unterstützen. Dazu gehören die Automatisierung betrieblicher Arbeitsabläufe und die Durchführung wissenschaftlicher Forschung. Reale Anwendungen erfordern insbesondere LRM, die als Agenten agieren und mit Umgebungen, Werkzeugen, Computern oder anderen Agenten interagieren. Dies setzt logisches Denken über Dutzende bis Hunderte von Schritten hinweg voraus, während zugleich Informationen aus langen Kontexten und unterschiedlichen Quellen integriert werden.