Microsoft AI hat das Vortraining des Basismodells MAI-Base-2 mit insgesamt 2,8 Billionen Parametern abgeschlossen. Das Modell durchläuft derzeit das Post-Training. Die wichtigste Änderung gegenüber MAI-Base-1 ist laut dem Unternehmen die direkte Einbindung von Bilddaten ins Vortraining, darunter Dokumente, die Text und Bilder kombinieren.
Bilddaten umfassen Diagramme, räumliche Aufgaben und Noten
Um Bild und Sprache zu verbinden, setzt Microsoft nach eigenen Angaben auf die Architektur eines Vision-Language-Modells ohne separaten Encoder. Das Trainingsmaterial besteht aus zwei Arten von Daten: Bild-Text-Paaren sowie Dokumenten, in denen sich Text- und Bildabschnitte abwechseln.
Nach Angaben des Unternehmens deckt der visuelle Teil des Korpus Bildbeschreibungen, das Verständnis von Diagrammen und räumliches Schlussfolgern ab. Weitere Daten betreffen die Computernutzung und das Lesen von Noten. Dieser Korpus enthält 4,5 Billionen einzigartige Token; einschließlich der Wiederholungen machten die Bild-Sprach-Daten 18 % der gesamten Trainingsmischung von 50 Billionen Token aus.
Größerer Korpus und Wissensstand bis März 2026
Die Änderungen betreffen nicht nur die Bilddaten. Laut Microsoft wuchs der gesamte Korpus gegenüber MAI-Base-1 um rund 36 %, gemessen an der Zahl einzigartiger Trainingstoken. Das Unternehmen gibt an, sämtliche Token intern verarbeitet und beim Vortraining keine Destillation aus anderen Modellen eingesetzt zu haben.
Microsoft hat auch die Verarbeitung von Webinhalten ausgeweitet; der Wissensstand reicht bis März 2026. Bei der Datenauswahl kamen nach Unternehmensangaben Embedding-Repräsentationen zum Einsatz, um neue Inhalte zu bevorzugen und doppelte Inhalte zu reduzieren.
Interner Vergleich mit DeepSeek, Kimi, Qwen und MiMo
Microsoft bewertete die vortrainierten Modelle anhand zurückgehaltener Textdaten mit der Metrik Bits-per-Byte, kurz BPB. Sie ermöglicht einen Vergleich unabhängig vom Tokenizer der jeweiligen Modelle; niedrigere Werte sind besser. Den internen Ergebnissen des Unternehmens zufolge erreichte MAI-Base-2 einen niedrigeren BPB-Wert als alle anderen getesteten Modelle.
Der Vergleich umfasste Checkpoints, die vor Oktober 2026 verfügbar waren: DeepSeek-V4-Pro-Base und Kimi K3 sowie Qwen3.8-2.4T-A95B und MiMo-V2.6-Pro-RL. Bei den letzten drei Modellen standen nur Varianten nach dem Post-Training zur Verfügung, das laut Microsoft die Ergebnisse dieser Bewertungen beeinflussen kann.
Für die Bewertung von Code verwendete das Unternehmen die eigene MAI-Codebasis. Die Tests zu STEM, Mathematik sowie Fragen und Antworten gab es bei externen Dienstleistern in Auftrag, um Überschneidungen mit dem Training zu verringern. Laut Microsoft wurden zudem alle Evaluationsdatensätze um Überschneidungen mit den eigenen Trainingsdaten bereinigt.
Effizienzschätzungen gegenüber DeepSeek und der Vorgängergeneration
Aus den Skalierungskurven von vier Bewertungen schätzt Microsoft, dass sein Trainingsverfahren zum Erreichen desselben BPB-Werts 4,2- bis 12,3-mal weniger FLOPs benötigt als DeepSeek-V4-Pro-Base. Gegenüber MAI-Base-1 beziffert das Unternehmen die geschätzte Effizienzsteigerung auf das 6,3- bis 12,7-Fache. Die Berechnung beruht auf Kurven, die auch das Endergebnis von MAI-Base-2 einbeziehen, und vergleicht den Rechenbedarf für denselben BPB-Wert, nicht den tatsächlichen Rechenaufwand der vollständigen Trainingsläufe.
Für die Übertragung von Erkenntnissen aus kleineren Experimenten nutzte das Unternehmen das Verfahren Source Scaling. In kleineren Trainingsläufen begrenzt es die Zahl einzigartiger Beispiele so, dass jeder Datensatz genauso oft wiederholt wird wie beim vollständigen Training. Laut Microsoft sinkt dadurch das Risiko, Einstellungen auszuwählen, die im kleinen Maßstab funktionieren, beim großen Modell aber zu Überanpassung führen.
MoE in jeder Schicht und Verarbeitung ohne Token-Verlust
MAI-Base-2 verwendet eine MoE-Architektur mit 80 Milliarden aktiven Parametern. Laut Microsoft wurde das größere und dünner besetzte Modell im August und September 2026 über 38 Tage auf 16.000 GB200-GPUs trainiert.
Optimierungen der Implementierung steigerten laut dem Unternehmen die Auslastung der Rechenleistung in den MoE-Schichten von 24 % auf 35 %. Dadurch konnte Microsoft MoE in jeder Schicht einsetzen; bei MAI-Base-1 war es zeitlich günstiger, sie mit anderen Schichten abzuwechseln.
Eine Verarbeitung in mehreren Runden bewältigt die ungleichmäßige Auslastung der Experten, ohne Token zu verwerfen. Ein überlasteter Experte verarbeitet laut Microsoft überschüssige Token in weiteren Runden und kann freie Kapazität anderer Experten seiner Gruppe nutzen. Der Speicherbedarf bleibt dabei konstant; eine geringere zugewiesene Kapazität kann jedoch mehr Runden und zusätzliche Berechnungen erfordern.
Laut Microsoft stabileres Training mit dem Optimierer Muon
Der Optimierer Muon sorgte beim Skalieren laut Microsoft für ein stabileres Training und deutlich höhere Effizienz als AdamW. Nach Anpassungen der Implementierung beanspruchte er 2,1 % der durchschnittlichen Dauer einer Trainingsiteration, entsprechend 165 Millisekunden.
Zugleich begrenzt das Unternehmen die Aktivierungsgradienten an ausgewählten Stellen des Netzes. Damit dämpft es gezielt Ausreißer, statt die Gradienten des gesamten Batches zu verkleinern. In Kombination mit Muon hält dieses Verfahren die Gradientennorm laut Microsoft in einem engeren Bereich als bei MAI-Base-1.
Geplante Lizenzierung über Foundry
Microsoft plant, die Modellgewichte über Foundry an vertrauenswürdige Partner zu lizenzieren. Modelle und Infrastruktur will das Unternehmen zunächst gemeinsam für die eigenen Produkte und anschließend für Foundry-Kunden optimieren.
