NVIDIA vydala Nemotron 3.5 Super VL, otevřený model se 120 miliardami parametrů pro specializované, nepřetržitě běžící AI agenty. Podle firmy spojuje práci s textem a vizuálními dokumenty v jednom systému. Zároveň představila Nemotron 3.5 Bolt 74B-A9B 24GB a Nemotron 3.5 Bolt E4B 4GB pro lokální nasazení agentů.
Super VL propojuje čtení dokumentů s prací agenta
Multimodální schopnosti Super VL NVIDIA zaměřuje na obsah, s nímž se agenti setkávají při práci: obrázky, webové stránky a PDF. Model podle ní rozpoznává text, čte tabulky i grafy a zpracovává strukturované informace ve vizuálních dokumentech. Z webové stránky tak může získat text i informace zachycené v grafech.
Spojení textového a vizuálního porozumění má podle NVIDIA omezit nutnost předávat úlohy mezi oddělenými systémy. Agent má díky tomu zachovat kontext při přechodu od dokumentu přes získaná data k rozhodnutí.
Firma uvádí, že v následování instrukcí, používání nástrojů, vícekrokových podnikových postupech a vizuálním porozumění dosahuje Super VL přesnosti srovnatelné s jejím největším uvažujícím modelem. Má přitom přibližně pětinu jeho počtu parametrů.
Otevřené váhy a podklady pro vlastní dotrénování
Se Super VL NVIDIA poskytuje otevřené váhy, datové sady i trénovací postupy. Organizace mohou model dále trénovat na vlastních datech a provozovat jej na své infrastruktuře podle požadavků na zabezpečení a umístění dat. Pro úpravy nabízí firma podle svého oznámení podporu prostřednictvím NVIDIA NeMo, pipeline v Pythonu a otevřených datových sad.
NVIDIA uvádí, že předtrénování a pokračující předtrénování zahrnovalo přibližně 26 bilionů tokenů. Následovalo dotrénování na zhruba 3,8 milionu příkladů a posilované učení v desítkách prostředí.
Na Hugging Face zároveň firma zveřejňuje otevřené datové sady pro používání nástrojů agenty a pro finanční úlohy. Další pokrývají následování instrukcí, dlouhý kontext, férovost a vizuálně-jazykové porozumění. Prostředí pro posilované učení poskytuje v NeMo Gym.
Úpravy pro finance i vyhledávání v podnikových aplikacích
Mezi konkrétními příklady přizpůsobení NVIDIA uvádí práci Scale AI. Ta Super VL dotrénovala pro agenta Skydance zaměřeného na financování dodavatelských úvěrů a pro agenta EY určeného k hloubkové prověrce při fúzích a akvizicích. AfterQuery podle NVIDIA model upravila pro analýzu úvěrových smluv v Hebbia.
Do svých platforem model podle NVIDIA integrují také Atlassian a Perplexity. U Atlassianu jde o agentní vyhledávání napříč aplikacemi, jako jsou Jira a Confluence. Perplexity jej integruje pro vyhledávání a agentní úlohy v Perplexity Search a Computer.
Bolt 74B-A9B míří na lokální rešerše a programování
Větší z modelů Bolt je podle NVIDIA navržen pro běžné lokální úlohy agentů na NVIDIA RTX/DGX Spark. Bolt 74B-A9B 24GB využívá nativní dvoubitovou kvantizaci, díky níž se má vejít do 24 GB paměti a běžet vedle dalších aplikací.
Uživatelé mohou podle firmy prostřednictvím lokálních agentních nástrojů zadávat rešerše na webu, psaní a ladění kódu, aniž by tyto úlohy odesílali do cloudu. NVIDIA model řadí na první místo mezi otevřenými modely v jeho třídě v PinchBench a na druhé místo mezi otevřenými modely v BrowseComp.
Bolt 74B-A9B 24GB je již na Hugging Face. Podporují jej llama.cpp a Ollama, stejně jako LM Studio, Unsloth a vLLM. Běží na počítačích GeForce RTX, DGX Spark a DGX Station i na pracovních stanicích RTX PRO; určen je také pro notebooky NVIDIA RTX Spark přicházející 16. října.
Menší Bolt přijde 23. října, Super VL je dostupný i jako NIM
Bolt E4B 4GB má být dostupný 23. října. NVIDIA jej určuje pro fyzické a konverzační agenty na GeForce RTX, Jetson a RTX/DGX Spark. Mezi zamýšlená použití patří lokální hlasoví asistenti, interaktivní postavy a vestavěná rozhraní s vícekolovou interakcí.
Super VL je již dostupný na Hugging Face, v komunitě ModelScope a jako NVIDIA NIM. Poslední možnost balí model do mikroslužby pro produkční nasazení s optimalizovanými a validovanými konfiguracemi a podnikovou podporou. NVIDIA uvádí aktualizace bezpečnostních oprav a výkonnostních vylepšení ve dvoutýdenních intervalech.
