Meta vydala Muse Spark Open, model s otevřenými vahami, který přijímá text, obrázky, zvuk i video a vytváří textové odpovědi. Vývojářům poskytuje společné rozhraní pro různé druhy vstupů. Meta jej zaměřuje na programování a dlouhé agentní úlohy, při nichž má průběžně vyhodnocovat a opravovat vlastní postup.
Programování s vizuální zpětnou vazbou
Podle Mety trénink zahrnoval refaktoring zasahující více souborů i dlouhé ladění. Model má během rozsáhlejší práce plánovat jednotlivé kroky, provádět je, sledovat výsledky a podle nich pokračovat. Firma do tohoto zaměření řadí také procházení webu s využitím obrázků.
Hugging Face ukázal konkrétní propojení programování a obrazu při tvorbě 3D objektů. Dvoubitově kvantizovanou variantu běžící v llama.cpp spojil s agentem Pi, který nechá model napsat kód Three.js, vykreslí výsledek v prohlížeči a pořídí snímky z několika úhlů. Stejný model snímky posoudí a Pi podle jeho zpětné vazby opakovaně upravuje kód. Autoři uvádějí, že kvantizovaná varianta potřebuje více vedení.
Další demonstrace Hugging Face propojila model na Inference Endpoints s OpenEnv a Chromiem ve vzdáleném sandboxu. Při rozhodování o další akci model dostává historii akcí, systémové zadání, URL a snímek obrazovky. Datovou strukturu stránky (DOM) ani její kód HTML v této ukázce k dispozici nemá.
Velká varianta řady Muse s milionovým kontextem
Muse Spark Open navazuje na malý hustý model Muse Glimmer, který Meta vydala v srpnu. Novinka představuje velkou variantu řady s architekturou mixture-of-experts. Oba modely sdílejí tokenizér i slovník; konverzační šablona vychází z Glimmeru a rozšiřuje ji o nové modality.
Celkem má model přibližně 816 miliard parametrů, ale pro každý token se aktivuje asi 42 miliard. V každé MoE vrstvě se vybírá osm z 256 expertů. V paměti přitom zůstávají všichni, takže menší počet aktivních parametrů neodstraňuje paměťové nároky celého modelu.
Kontextové okno při inferenci dosahuje až milionu tokenů; konfigurace stanovuje přesné maximum na 1 048 576 pozic. Tento prostor není vyhrazen jen textu: do stejného limitu se počítají také tokeny obrazových, zvukových a video vstupů.
Jak se připravuje video, zvuk a volání nástrojů
Integrace do Transformers obsahuje MuseSparkForConditionalGeneration pro generování textu z multimodálních vstupů a MuseSparkProcessor pro přípravu konverzací. Volání nástrojů je podporováno jak u čistě textových úloh, tak při práci s dalšími modalitami.
Oproti Muse Glimmer dokáže procesor díky zvukovému enkodéru přijmout video i s jeho zvukovou stopou. Výchozí zpracování vybírá dva snímky za sekundu, nejvýše 96 snímků. Vyšší frekvence uchová více obrazových detailů v čase, ale zvyšuje paměťové nároky a latenci zpracování vstupu. Zvuk z videa se zapíná parametrem load_audio_from_video=True.
Přímo předaný zvuk musí být monofonní se vzorkovací frekvencí 24 kHz; jinou frekvenci je nutné předem převést. Enkodér zpracovává úseky dlouhé 80 milisekund, což odpovídá 12,5 zvukového tokenu za sekundu.
Úsilí věnované uvažování lze nastavit na low, medium, high nebo xhigh, s odpovídajícími hodnotami 16, 64, 256 a 512. Uvažování nelze úplně vypnout. Pro jednodušší úlohy dokument doporučuje low, aby model spotřeboval méně tokenů.
Dva checkpointy a provoz na Macu
Dostupné jsou checkpointy Muse-Spark-Open-816B-A42B ve formátu BF16 a Muse-Spark-Open-816B-A42B-NVFP4. BF16 zabírá přibližně 1,5 TB. Čtyřbitová varianta NVFP4 je určena pro GPU NVIDIA Blackwell a podle Hugging Face přináší zanedbatelnou ztrátu přesnosti. V popsané konfiguraci Transformers běží BF16 na čtyřech uzlech po osmi H200 s TP=32, zatímco NVFP4 na jednom uzlu B200.
Podpora je také součástí předpřipravených binárních souborů llama.cpp. Hugging Face při testu na Macu M3 Ultra s 512 GB paměti naměřil u dvoubitové kvantizace kalibrované pomocí imatrix rychlost 18 tokenů za sekundu. Samotný model v této konfiguraci zabíral 304 GB.
Server určuje dostupné modality i délku kontextu
SGLang přijímá všechny čtyři druhy vstupů a jeho referenční konfigurace NVFP4 běží na čtyřech GPU GB300. Referenční integrace vLLM naproti tomu s checkpointem NVFP4 podporuje text a obrázky, vyžaduje GPU Blackwell a v uvedeném nastavení pracuje s kontextem o délce 128 tisíc tokenů.
Hugging Face nabízí nasazení NVFP4 přes Inference Endpoints s předem ověřeným receptem SGLang. Varianta s osmi NVIDIA RTX Pro 6000 98 GB poskytuje kontext 131 072 tokenů; pro 1 048 576 tokenů je určena sestava osmi NVIDIA H200 141 GB. Rozhraní je kompatibilní s OpenAI a podporuje Chat Completions i Responses. Jako API klíč klient používá token Hugging Face.
Dolaďování přes adaptéry LoRA
Hugging Face předvedl také dolaďování pomocí TRL SFTTrainer na osmi uzlech po osmi H100. Recept trénuje adaptéry LoRA ve vrstvách pozornosti, zatímco experti zůstávají zmrazení. Při ukázkové úpravě konverzační šablony zabralo 500 kroků přibližně dvě hodiny na 64 H100 při rychlosti asi 8 000 tokenů za sekundu.
