Microsoft AI dokončil předtrénování základního modelu MAI-Base-2 s celkem 2,8 bilionu parametrů. Model nyní prochází následným dotrénováním. Hlavní změnou proti MAI-Base-1 je podle firmy zapojení obrazových dat přímo do předtrénování, včetně dokumentů kombinujících text s obrázky.
Obrazová data zahrnují grafy, prostorové úlohy i noty
Pro propojení obrazu a jazyka použil Microsoft podle svého popisu architekturu vizuálně-jazykového modelu bez samostatného enkodéru. Trénovací podklady mají dvě podoby: dvojice obrázku s textem a dokumenty, ve kterých se textové a obrazové části střídají.
Firma uvádí, že obrazová část korpusu pokrývá popisování obrázků a porozumění grafům, ale také prostorové uvažování. Další data se týkají práce s počítačem či čtení not. Tento korpus obsahuje 4,5 bilionu unikátních tokenů; po započtení opakování představovala vizuálně-jazyková data 18 % celé trénovací směsi o 50 bilionech tokenů.
Větší korpus a hranice znalostí v březnu 2026
Změna se netýká jen obrazové části. Podle Microsoftu se celkový korpus oproti MAI-Base-1 rozrostl přibližně o 36 %, měřeno počtem unikátních trénovacích tokenů. Společnost tvrdí, že všechny tokeny zpracovala interně a při předtrénování nepoužila destilaci z jiných modelů.
Microsoft také rozšířil zpracování webového obsahu; hranicí znalostí je březen 2026. Při výběru dat podle firmy pomáhaly embeddingové reprezentace, které sloužily k upřednostňování nových podkladů a omezení duplicitního obsahu.
Interní srovnání s DeepSeek, Kimi, Qwen a MiMo
Microsoft hodnotil předtrénované modely na vyčleněných textových datech pomocí metriky bits-per-byte, zkráceně BPB. Ta umožňuje srovnání nezávisle na tokenizéru jednotlivých modelů a nižší hodnota je lepší. Podle interních výsledků firmy dosáhl MAI-Base-2 nižšího BPB než všechny ostatní testované modely.
Srovnání zahrnovalo checkpointy dostupné před říjnem 2026: DeepSeek-V4-Pro-Base a Kimi K3, dále Qwen3.8-2.4T-A95B a MiMo-V2.6-Pro-RL. U posledních tří byly k dispozici pouze varianty po následném dotrénování, které podle Microsoftu může výsledky těchto hodnocení ovlivnit.
Pro hodnocení kódu firma použila vlastní kódovou základnu MAI. Testy STEM, matematiky a otázek a odpovědí zadala externím dodavatelům s cílem omezit překryv s tréninkem. Podle Microsoftu navíc všechny hodnoticí sady prošly odstraněním překryvů s jeho trénovacími daty.
Odhady efektivity vůči DeepSeek a předchozí generaci
Ze škálovacích křivek čtyř hodnocení Microsoft odhaduje, že jeho trénovací postup potřebuje k dosažení stejného BPB 4,2–12,3krát méně výpočtů FLOPs než DeepSeek-V4-Pro-Base. Proti MAI-Base-1 uvádí odhadované zlepšení efektivity 6,3–12,7krát. Výpočet vychází z křivek zahrnujících i konečný výsledek MAI-Base-2 a porovnává nároky na dosažení stejného BPB, nikoli skutečnou spotřebu celých tréninků.
Při přenosu poznatků z menších experimentů firma využila postup source scaling. V menších bězích omezuje počet unikátních vzorků tak, aby se jednotlivé datové sady opakovaly stejně často jako při plném tréninku. Podle Microsoftu tím snižuje riziko výběru nastavení, která fungují v malém měřítku, ale u velkého modelu vedou k přeučení.
MoE v každé vrstvě a zpracování bez zahazování tokenů
MAI-Base-2 používá architekturu MoE s 80 miliardami aktivních parametrů. Podle Microsoftu probíhal trénink většího a řidšího modelu na 16 tisících GPU GB200 po dobu 38 dnů v srpnu a září 2026.
Optimalizace implementace podle firmy zvýšily využití výpočetního výkonu vrstev MoE z 24 % na 35 %. Díky tomu mohl Microsoft nasadit MoE do každé vrstvy; u MAI-Base-1 bylo z hlediska času výhodnější střídat je s jinými vrstvami.
Vícekolové zpracování řeší nerovnoměrné zatížení expertů bez zahazování tokenů. Přetížený expert podle popisu Microsoftu zpracuje přebytek v dalších kolech a může využít volnou kapacitu ostatních expertů ve skupině. Spotřeba paměti tak zůstává pevná, menší přidělená kapacita ale může vyžadovat více kol a dodatečné výpočty.
Stabilnější trénink s optimalizátorem Muon
Optimalizátor Muon přinesl podle Microsoftu při škálování stabilnější trénink a výrazně vyšší efektivitu než AdamW. Po úpravách implementace zabíral 2,1 % průměrného času jedné trénovací iterace, tedy 165 milisekund.
Firma zároveň omezuje gradienty aktivací na vybraných místech sítě. Tím cíleně tlumí odlehlé hodnoty místo zmenšování gradientů celé dávky. V kombinaci s Muonem tento postup podle Microsoftu udržuje normu gradientu v užším rozmezí než u MAI-Base-1.
Plánované licencování přes Foundry
Microsoft plánuje licencovat váhy modelu důvěryhodným partnerům prostřednictvím Foundry. Modely a infrastrukturu chce nejprve společně optimalizovat pro vlastní produkty a poté pro zákazníky Foundry.
