Microsoft plánuje od roku 2027 rozšířit rodinu Azure Maia do nasazení v řádu více gigawattů a využívat ji jako hlavní infrastrukturu pro inferenci ve svých produktech a službách. Ve stejném roce má začít produkční nasazování Maia 300, kterou firma navrhla pro uvažování nad dlouhým kontextem, konverzace citlivé na latenci a dlouhotrvající vícekrokové úlohy AI agentů.
Maia 200 už obsluhuje Microsoft Copilot
Plán rozšíření navazuje na provoz předchozí generace. Maia 200 už obsluhuje produkční úlohy včetně služby Microsoft Copilot a podporuje tým MAI při vývoji nové generace modelů. GitHub Copilot a Microsoft Foundry mají na tuto infrastrukturu navázat do konce roku 2026.
Microsoft uvádí, že v těchto úlohách běží na Maia 200 modely OpenAI, vlastní modely MAI i přední rodiny modelů s otevřeným zdrojovým kódem. Nasazování probíhá ve Spojených státech, Evropě a Austrálii. U vestavěných AI funkcí v Microsoft Teams, Copilot a Cowork firma uvádí až 1,7násobný počet tokenů na watt oproti přední GPU infrastruktuře.
Vícekrokoví agenti a konverzace citlivé na latenci
Zaměření Maia 300 podle Microsoftu zahrnuje tři typy zátěže: uvažování nad dlouhým kontextem, konverzační služby citlivé na latenci a dlouhotrvající práci agentů složenou z více kroků. Pro GitHub firma počítá s využitím obou generací Maia k efektivnější obsluze vícekrokových programovacích agentů.
Dalším plánovaným využitím je obsluha různých modelových architektur a prostředí nasazení v Microsoft Foundry. Týmu MAI mají obě generace sloužit k inferenci a generování dat. U Dragon Copilot Microsoft počítá s podporou interakcí citlivých na latenci, které mají pomoci rozšířit pracovní postupy a omezit administrativní zátěž zdravotníků.
Srovnání s GPU systémy a předchozí generací
Microsoft očekává, že Maia 300 poskytne o 40 % více tokenů na megawatt než přední systémy založené na GPU. Jde o očekávání firmy spojené s vyšší efektivitou celého systému, nikoli pouze s výkonem jednotlivého akcelerátoru.
Ve srovnání s Maia 200 Microsoft uvádí až sedminásobnou tokenovou propustnost na úrovni racku. Tento údaj se vztahuje k plné konfiguraci Maia 300 s 96 akcelerátory.
Méně přesunů dat a větší kontext
Cestu k vyšší efektivitě Microsoft popisuje jako společnou optimalizaci toku dat a výpočetních jader. Maia 300 kombinuje softwarově definovaný tok dat s optimalizací jader za pomoci AI. Tyto mechanismy mají omezit přesuny dat, udržovat je blíže místu zpracování a lépe využívat výpočetní, paměťové i síťové prostředky.
Podle firmy podporuje systém také pokročilé formáty s nízkou přesností, včetně enhanced MXFP4. Ty mají snížit nároky na paměť a její propustnost jak při výpočtech, tak při ukládání KV-cache. Microsoft s tím spojuje větší kontextová okna, vyšší propustnost a efektivnější provoz modelů při stejném příkonovém limitu.
HBM4 a pracovní paměť přímo na čipu
Paměťovou část Maia 300 tvoří osm bloků HBM4 se špičkovou propustností 18,0 TB/s při TDP 950 wattů. Microsoft tuto konfiguraci spojuje s efektivním zpracováním velkých modelů a úloh s dlouhým kontextem. Specializovaná výpočetní jádra zároveň využívají SRAM přímo na čipu jako softwarově spravovanou pracovní paměť, která má snížit zatížení HBM.
Od 96 akcelerátorů po celé datové centrum
Rack Maia 300 podle Microsoftu sdružuje 96 akcelerátorů v příkonovém limitu 167 kilowattů. Nabízí celkem 27,6 TB paměti HBM a souhrnnou propustnost HBM 1,7 PB/s. Podle firmy má tato konfigurace obsluhovat více souběžných AI interakcí a větší úlohy na jednom racku.
Propojení akcelerátorů Microsoft optimalizoval pro tensorový paralelismus. Vlastní komunikační transport pro AI využívá infrastrukturu založenou na Ethernetu a má zajistit komunikaci mezi akcelerátory i racky. Tato síťová architektura má umožnit škálování od jediného racku až po nasazení v rozsahu celého datového centra.
