AWS zpřístupnilo v Amazon SageMaker JumpStart programátorský model Mety Muse Spark Open s otevřenými vahami. Vývojáři jej mohou nasadit na endpoint ve vlastním účtu AWS; podle společnosti má kontextové okno o velikosti milionu tokenů umožnit práci s celým projektem včetně závislostí a tisíců souborů.
Trénink pro refaktoring a dlouhé agentní úlohy
Meta podle AWS při tréninku vycházela z práce vývojářů ve skutečných repozitářích. Vedle generování kódu zahrnula ladění, refaktoring zasahující více souborů a úlohy, jejichž řešení trvá delší dobu. Do kontextu lze podle AWS zahrnout také starší kód, nejen aktuálně upravované části projektu.
Meta uvádí, že model při dlouhodobých agentních úlohách plánuje postup, provádí akce, sleduje jejich výsledky a následně vlastní postup opravuje. Popisuje jej tak jako systém pro navazující kroky, nikoli pouze pro jednotlivá volání nástrojů.
Součástí tréninku bylo podle AWS také procházení webu, koordinování dílčích agentů a ovládání počítačů na stolních počítačích, mobilech i v prohlížeči. Pro nasazení v SageMaker AI ovšem potřebné nástroje, prohlížeč a prostředí pro ovládání počítače dodává zákazníkova aplikace nebo agentní framework.
Podklady k opravě mohou zahrnovat obraz i zvuk
Vstup se podle AWS neomezuje na text: model přijímá také dokumenty a obrázky, samostatný zvuk i audiovizuální materiál. Výstupem je text. AWS mezi navrhovanými způsoby využití uvádí zpracování snímků obrazovky, návrhových dokumentů nebo záznamu chyby s obrazem a zvukem, z nichž by model sestavil plán reprodukce problému či návrh opravy.
Dvě varianty s odlišnými nároky na paměť
Podle AWS používá Muse Spark Open architekturu mixture-of-experts s celkem 816 miliardami parametrů. Pro každý token je aktivních 42 miliard z nich. Při provozu však musí paměť GPU pojmout všech 816 miliard parametrů, takže požadavky na nasazení neurčuje jen aktivní část modelu.
JumpStart nabízí provedení BF16 pod názvem Muse-Spark-Open-816B-A42B a kvantizovanou variantu Muse-Spark-Open-816B-A42B-NVFP4. AWS uvádí, že váhy NVFP4 zabírají přibližně čtvrtinu paměti oproti BF16. Varianta NVFP4 běží na instanci ml.p5e.48xlarge, zatímco BF16 využívá ml.p6-b300.48xlarge.
Nasazení ve vlastním účtu a dva dostupné regiony
K nasazení slouží SageMaker Studio nebo SageMaker Python SDK; obě cesty vytvářejí endpoint pro inferenci v reálném čase. Podle AWS trvá zřízení instance a načtení vah obvykle 15–20 minut. Při uvedení je model dostupný v regionech US East (N. Virginia) a US East (Ohio).
Zákazník potřebuje odpovídající kvótu pro podporovaný typ instance. Při nasazení přes SDK je nutný Python 3.10 nebo novější a SageMaker Python SDK v3. Váhy podléhají Muse Model License včetně Muse Spark Usage Policy a nasazení vyžaduje přijetí licenční smlouvy EULA; v SDK se souhlas předává nastavením accept_eula=True.
Endpoint lze připojit k vlastní Amazon VPC, jeho úložiště šifrovat klíčem AWS KMS a pro kontejner zapnout síťovou izolaci. Zákazník nastavuje také typ instance a limity škálování. Připnutá verze modelu se změní až při novém nasazení.
Za endpoint se platí po celou dobu jeho běhu, i bez příchozích požadavků, a AWS proto doporučuje po skončení používání endpoint odstranit.
Chatové API odděluje odpověď a výstup uvažování
Endpoint přijímá chatové požadavky kompatibilní s OpenAI se seznamem messages. Konečná odpověď je v poli message.content, zatímco výstup uvažování je v poli message.reasoning_content. Počet tokenů spotřebovaných na uvažování uvádí usage.reasoning_tokens. Limit max_tokens musí ponechat dostatek prostoru jak pro uvažování, tak pro výslednou odpověď.
Podporováno je i průběžné předávání tokenů během generování. Aplikace je zapne hodnotou "stream": true v těle požadavku a namísto invoke použije volání endpoint.invoke_with_response_stream.
