vLLM zpřístupnil předběžnou podporu platformy NVIDIA Vera Rubin NVL72. Vývojáři, kteří mají přístup k hardwaru Rubin, ji mohou využít v nightly kontejnerech s CUDA 13.4 a PyTorch 2.15. Součástí podpory jsou jádra FlashInfer optimalizovaná pro attention, maticové násobení a výpočty modelů mixture-of-experts.
Nightly kontejner už podporuje čtyři rodiny modelů
K dispozici je obraz kontejneru vllm/vllm-openai:cu134-nightly, určený vývojářům s přístupem k Rubinu. Projekt ve spolupráci s Inferact, NVIDIA a Red Hat na tomto hardwaru spustil modely DeepSeek, Kimi, GLM a MiniMax.
Počáteční pokrytí modelů se opírá také o kompatibilitu s existujícími jádry pro Blackwell. Rubin umí spouštět ta, která byla sestavena pro dopředně kompatibilní cíl sm100f. Specializovaná jádra pro sm107 přicházejí postupně.
MiniMax M3 proti GB200, multimodální Qwen proti GB300
Pro agentní inferenci vLLM zveřejnil předběžné výsledky testu AgentX s modelem MiniMax M3. Tato zátěž zahrnuje dlouhé kontexty a opakovaná volání modelu, která kladou nároky na paměťovou propustnost i provádění MoE. Při stejném požadavku na dobu odezvy projekt hlásí na Vera Rubin až 7,84× vyšší propustnost na GPU než na NVIDIA GB200. Za podmínky 150 tokenů za sekundu uvádí 5,18× vyšší propustnost.
Druhé srovnání se týká multimodálního modelu Qwen3-VL-235B-A22B v měření MLPerf Inference v6.1 VLM. Podle předběžných výsledků vLLM dosáhla sestava s NVIDIA Dynamo až 3,7× vyšší propustnosti oproti GB300 NVL72 v offline, serverových a interaktivních scénářích. Dynamo v této testované sestavě směruje požadavky k pracovníkům vLLM.
Měření proběhla na raném hardwaru a omezeném počtu uzlů. Uvedená maxima „až“ se vztahují k nejlepším naměřeným konfiguracím, nikoli ke zrychlení zaručenému pro všechny modely a provozní zátěže.
Váhy expertů se přesouvají blíž k výpočetním jednotkám
Optimalizovaná jádra dodává FlashInfer 0.7.0. Pokrývají attention, maticové násobení GEMM i výpočty MoE. Pro dekódování MoE vLLM využívá domény lokality v CUDA 13.4, které umožňují přiřadit části vah a jejich výpočty k odpovídajícím oblastem uvnitř GPU.
Konkrétně rozděluje váhové matice expertů FC1 a FC2 po sloupcích a jednotlivé části přiřazuje do domén lokality. Prostřednictvím CUDA Green Contexts pak spouští samostatné jádro pro každou doménu. Výpočetní jednotky čtou bližší váhy namísto opakovaných přístupů přes vnitřní paměťovou síť GPU.
U vrstev MoE modelu MiniMax M3 vLLM uvádí průměrné 1,2× zrychlení při dopředných průchodech s malým počtem tokenů. Výsledek platil pro konfigurace TP2, TP4, EP2 a EP4. TP označuje tenzorový paralelismus, EP paralelismus expertů; číslo vyjadřuje velikost paralelní skupiny.
Přepínače pro NVFP4, FP8 attention a komunikaci expertů
Backend CuTe DSL pro husté násobení matic v NVFP4 lze zvolit pomocí --linear-backend flashinfer_cutedsl. U checkpointů NVFP4 je zapnutý standardně. Odpovídající jádro pro výpočty MoE v NVFP4 aktivuje samostatná volba --moe-backend flashinfer_cutedsl.
Cestu FP8 attention z generace TensorRT-LLM zapíná nastavení --kv-cache-dtype fp8 v kombinaci s backendem FLASHINFER nebo FLASHINFER_MLA. Backend attention se vybírá parametrem --attention-backend.
Paralelismus expertů se aktivuje přepínačem --enable-expert-parallel spolu s --data-parallel-size N a --all2all-backend deepep_low_latency. Tato kombinace zapíná také komunikaci DeepEP s nízkou latencí a maskované skupinové GEMM pro dávkové formáty expertů.
Další jádra pro Rubin jsou v plánu
vLLM plánuje rozšířit podporu domén lokality pro vrstvy MoE a přidat cestu FlashInfer MegaMoE pro sm107. Na plánu jsou také sloučená megajádra, která mají omezit režii spouštění jader a paměťovou režii.
Projekt dále plánuje attention jádra KDA, MLA, CSA a HCA přizpůsobená Rubinu. Určena mají být modelům Kimi K3 a DeepSeek-V4.1-Flash.
