Společnost NVIDIA oznámila beta verzi otevřeného Newton Physics Engine, který vyvinula společně s Google DeepMind a Disney Research. Tento nástroj je nyní součástí NVIDIA Isaac Lab a pomáhá výzkumníkům i vývojářům vytvářet roboty, které se dokážou pohybovat v náročných prostředích. Newton umožňuje simulovat složité akce, jako je chůze po sněhu nebo štěrku, nebo manipulace s předměty jako šálky a ovoce. Jeho flexibilní design pracuje s různými typy fyzikálních řešitelů, což zajišťuje, že dovednosti naučené v simulaci lze bezpečně přenést do skutečného světa.
Tento engine již přijímají významné laboratoře a univerzity, včetně ETH Zurich Robotic Systems Lab, Technical University of Munich a Peking University. Mezi dalšími adoptéry patří robotická firma Lightwheel a společnost Style3D, která se zabývá simulačními enginy. Newton staví na frameworku NVIDIA Warp a OpenUSD, což umožňuje přesnou simulaci složitých pohybů humanoidních robotů s mnoha klouby a potřebou udržet rovnováhu.
Isaac GR00T N1.6: Uvažování jako člověk pro roboty
Nová verze otevřeného modelu NVIDIA Isaac GR00T N1.6 přináší robotům schopnost lidského uvažování. Tento model integruje NVIDIA Cosmos Reason, což je otevřený model pro vizuální a jazykové uvažování v oblasti fyzického umění inteligence (physical AI). Funguje jako "hluboce myslící mozek" robota, který dokáže rozložit nejasné instrukce na konkrétní plány, využívat předchozí znalosti a běžný rozum k řešení nových situací.
Model Cosmos Reason byl stažen více než milionkrát a vede žebříček Physical Reasoning Leaderboard na Hugging Face. Je dostupný jako NVIDIA NIM microservice pro snadné nasazení. Isaac GR00T N1.6 umožňuje humanoidním robotům pohybovat se a manipulovat s objekty současně, což usnadňuje úkoly jako otevírání těžkých dveří. Vývojáři mohou model doladit pomocí otevřeného NVIDIA Physical AI Dataset na Hugging Face, který obsahuje tisíce syntetických i reálných trajektorií a byl stažen přes 4,8 milionu krát.
Mezi firmami, které tento model testují, patří AeiROBOT, Franka Robotics, LG Electronics, Lightwheel, Mentee Robotics, Neura Robotics, Solomon, Techman Robot a UCR. Tyto společnosti ho využívají pro stavbu univerzálních robotů, které zvládnou širokou škálu úkolů v reálném prostředí.
Cosmos World Foundation Models: Generování dat pro trénink
NVIDIA aktualizovala své otevřené Cosmos World Foundation Models, které pomáhají generovat různorodá data pro trénink modelů fyzického umění inteligence. Tyto modely byly staženy přes tři miliony krát a umožňují vytvářet videa na základě textových, obrazových nebo video podnětů. Nová verze Cosmos Predict 2.5 kombinuje tři modely do jednoho, což snižuje složitost a zvyšuje efektivitu. Podporuje delší videa až do 30 sekund a výstupy z více kamer pro bohatší simulace.
Další model, Cosmos Transfer 2.5, je 3,5krát menší než předchozí verze, ale poskytuje rychlejší a kvalitnější výsledky. Generuje fotorealistická syntetická data z 3D scén a vstupů jako hloubka, segmentace nebo mapy s vysokým rozlišením. Tyto nástroje řeší problém nedostatku dat v robotice a umožňují škálovat trénink modelů pro složité úkoly.
Nové workflow a infrastruktura pro roboty
NVIDIA představila nový workflow pro učení robotů chytání objektů v Isaac Lab 2.3, který je postaven na platformě NVIDIA Omniverse. Tento workflow trénuje roboty s víceprstými rukama ve virtuálním světě pomocí automatického kurikula, který postupně zvyšuje složitost úkolů. Mění faktory jako gravitace, tření nebo hmotnost objektů, což připravuje roboty na nepředvídatelné situace. Tento přístup využila firma Boston Dynamics pro zlepšení manipulace u svých robotů Atlas.
Společně s Lightwheel NVIDIA vyvíjí Isaac Lab - Arena, otevřený framework pro hodnocení dovedností robotů v simulaci. Tento nástroj umožňuje testovat roboty v tisících scénářích bez nutnosti stavět systém od nuly. K podpoře těchto technologií NVIDIA oznámila novou infrastrukturu, včetně NVIDIA GB200 NVL72 s 36 procesory NVIDIA Grace a 72 GPU NVIDIA Blackwell, NVIDIA RTX PRO Servers pro všechny fáze vývoje a NVIDIA Jetson Thor pro reálný čas na robotu.
Mezi firmami, které přijímají technologie NVIDIA Isaac a Omniverse, patří Agility Robotics, Boston Dynamics, Disney Research, Figure AI, Franka Robotics, Hexagon, Skild AI, Solomon a Techman Robot. Výzkumné instituce jako Stanford University, ETH Zurich a National University of Singapore využívají tyto nástroje pro pokrok v robotice. Rev Lebaredian, viceprezident pro Omniverse a simulační technologie v NVIDIA, zdůraznil, že tyto aktualizace poskytují vývojářům tři klíčové komponenty: Isaac GR00T jako mozek, Newton pro simulaci těla a Omniverse jako tréninkové prostředí.
Zdroj: nvidia.com
