CoreWeave na akci Fully Connected v San Franciscu spustila Forge, prostředí pro trénování, vyhodnocování a průběžné zlepšování AI modelů a agentů na akcelerované výpočetní platformě NVIDIA. Týmy v něm mohou využívat vlastní produkční data k dotrénování, aniž by potřebovaly vlastní trénovací cluster.
Propojení nástrojů a zpětné vazby z provozu
Forge spojuje Weights & Biases se zkušenostmi OpenPipe v oblasti dotrénování a s open source notebookovým projektem marimo. Podle NVIDIA má toto propojení umožnit týmům využívat poznatky z chování agentů v produkci při jejich dalším zlepšování. Firma uvádí, že prostředí zůstává otevřené různým modelům, frameworkům i cloudům.
Pro přizpůsobení a nasazování modelů mohou týmy podle NVIDIA využít otevřené modely Nemotron. Ty mají ve Forge sloužit k agentním pracovním postupům s modely zaměřenými na uvažování i s multimodálními modely. Mezi první společnosti, které na Forge stavějí své projekty, patří Canva, Capital One a MasterClass.
ARIA navrhuje experimenty, Agent Lens hledá selhání
CoreWeave ARIA je nyní obecně dostupná. Podle NVIDIA analyzuje jednotlivé běhy i experimentální data, navrhuje další experimenty a doporučuje úpravy kódu. Změny také ukládá do GitHubu, takže její záběr zahrnuje jak vyhodnocování výsledků, tak práci s kódem.
Nová služba CoreWeave Agent Lens se soustředí na chování agentů v produkci: z jejich záznamů vytváří podklady pro opravy. NVIDIA u ní uvádí zlepšení detekce selhání o 20 % a zpracování desítek milionů produkčních tras agentů.
Izolované prostředí pro každé volání nástroje
Obecně dostupné jsou také CoreWeave Sandboxes. Umožňují spouštět agenty, volání nástrojů, posilované učení a evaluace v izolovaných prostředích s CPU nebo GPU. Každé volání nástroje, běh posilovaného učení či evaluace dostává nové izolované prostředí.
Týmy mohou Sandboxes provozovat serverless nebo na infrastruktuře, kterou již používají k trénování. Volba způsobu provozu se tak týká stejné služby pro vykonávání agentních úloh i vyhodnocování modelů.
Serverless dotrénování a průběžné načítání checkpointů
Pro experimentování s vlastními trénovacími postupy Forge nabízí serverless supervised fine-tuning i serverless posilované učení. Podle NVIDIA je serverless posilované učení 1,4× rychlejší a má o 40 % nižší náklady než samostatně spravované řešení.
Na inferenční straně využívá spravovaná služba CoreWeave open source framework NVIDIA Dynamo. Ten pohání také RL Rollouts, které jsou zatím v soukromé předběžné verzi. RL Rollouts načítají nové checkpointy přímo do běžícího nasazení, takže posilované učení může pokračovat bez opětovného nasazování.
Vera Rubin je dostupná zákazníkům s předběžným přístupem
Vedle Forge CoreWeave oznámila dostupnost NVIDIA Vera Rubin NVL72 na CoreWeave Cloud pro zákazníky s předběžným přístupem. Prvním zákazníkem, který na Vera Rubin provozuje produkční úlohy, je Cognition, tvůrce AI softwarového inženýra Devin.
Cognition po dodání prvních produkčních racků CoreWeave provedla časné srovnání inferenčního výkonu Vera Rubin s výchozí konfigurací GB200 NVL72. Pro test sestavila softwarově-inženýrskou úlohu z části úkolů FrontierCode a nasadila na ně AI agenty.
U inferenčních úloh SWE-2 Cognition v těchto časných testech zaznamenala na Vera Rubin NVL72 až 4,8násobnou celkovou propustnost tokenů oproti GB200 NVL72. NVIDIA výsledek spojuje s rychlejším generováním kódu v reálném čase a svižnějším vícekrokovým uvažováním Devinu.
Kapacitu Vera Rubin lze provozovat prostřednictvím CoreWeave Kubernetes Service a SUNK. Dalšími cestami jsou CoreWeave Mission Control, CoreWeave Sandboxes a CoreWeave Inference.
