NVIDIA na konferenci CoRL představila otevřený model GR00T 2 určený k učení robotů zručné manipulaci. Model postavený na platformě NVIDIA Cosmos se podle firmy učí z lidských ukázek a dokáže přenášet dovednosti mezi různými robotickými těly bez robotických demonstrací.
Učení z ukázek a výsledky testů
GR00T 2 je model typu world action. NVIDIA uvádí, že jej natrénovala na různorodých robotických a lidských datech, která zahrnovala také 100 000 hodin jejích otevřených videozáznamů pořízených z pohledu člověka.
Při hodnocení model podle společnosti splnil alespoň jednou 40 z 50 úloh bez ukázky určené pro danou úlohu. S jednou ukázkou na úlohu dosáhl napříč padesátkou úloh průměrné úspěšnosti 71 procent, s pěti ukázkami pak 95 procent.
NVIDIA také uvádí, že se model řadí mezi tři nejlepší ve všech kategoriích vision-language-action a world action v benchmarkech RoboCasa365, RoboLab, RoboDojo a MolmoSpaces. V několika žebříčcích podle firmy vede.
Pro sestavování složitějších postupů mohou AI agenti přes API modelu a související nástroje řadit naučené dovednosti za sebe a překonávat chyby.
Od manipulace s prádlem po výměnu kabelů
Nexuni model testuje při robotické manipulaci s prádlem, Foxconn jej používá při automatizaci výroby serverů a Siemens vyhodnocuje jeho průmyslové využití.
MicroAGI používá GR00T 2 dodatečně trénovaný posilovaným učením k výměně ethernetových kabelů pomocí robotického ramene YAM. Postup využívá Isaac Lab 3.0 a Newton k automatickému vytváření a kalibraci simulačních prostředí, ve kterých se trénuje robotická strategie. Ukázka tohoto postupu je plánována na CoRL.
Video a simulace pro trénink robotů
Vedle modelu představila NVIDIA otevřený postup Video to Data. Ten převádí video člověka na simulované robotické demonstrace určené k tvorbě trénovacích dat.
Nová verze otevřeného rámce Isaac Lab 3.0 umožňuje agentům připravovat trénovací prostředí a výzkumníkům volit mezi fyzikálními řešiči NVIDIA PhysX a Newton. Obsahuje také novou knihovnu pro dodatečný trénink základních modelů, jako je GR00T, pomocí posilovaného učení.
Těsnější integrace s otevřeným fyzikálním enginem Newton umožňuje v Isaac Lab simulovat deformovatelné předměty včetně kabelů a látky i složité kloubové systémy, například robotické ruce.
V benchmarku zručné manipulace založené na vidění dosáhl podle NVIDIA Isaac Lab 3.0 s Newtonem až 2,5násobné trénovací propustnosti oproti Isaac Lab 2.3 s PhysX.
Hodnocení v různých podmínkách
Vývojářská předběžná verze Isaac Lab-Arena 0.4 umožňuje sestavovat opakovatelná hodnocení robotických strategií a spouštět je paralelně v tisících variant prostředí. Analýzy následně ukazují, které podmínky vedou k selhání.
