NVIDIA hat auf der Konferenz CoRL das offene Modell GR00T 2 vorgestellt, mit dem Roboter die geschickte Handhabung erlernen sollen. Das auf NVIDIA Cosmos basierende Modell lernt nach Angaben des Unternehmens aus menschlichen Vorführungen und kann Fähigkeiten ohne Roboterdemonstrationen zwischen unterschiedlichen Robotersystemen übertragen.
Lernen aus Vorführungen: die Testergebnisse
GR00T 2 ist ein World-Action-Modell. NVIDIA gibt an, es mit vielfältigen Roboter- und Menschendaten trainiert zu haben. Dazu gehörten auch 100.000 Stunden offener Videoaufnahmen des Unternehmens aus menschlicher Perspektive.
Bei der Bewertung erfüllte das Modell laut NVIDIA 40 von 50 Aufgaben mindestens einmal, ohne dass ihm eine spezifische Vorführung für die jeweilige Aufgabe gezeigt worden war. Mit einer Vorführung pro Aufgabe erreichte es über alle 50 Aufgaben hinweg eine durchschnittliche Erfolgsquote von 71 Prozent, mit fünf Vorführungen waren es 95 Prozent.
NVIDIA zufolge zählt das Modell in den Benchmarks RoboCasa365, RoboLab, RoboDojo und MolmoSpaces in allen Kategorien für Vision-Language-Action- und World-Action-Modelle zu den drei besten. In mehreren Bestenlisten liegt es auf Platz eins.
Für komplexere Abläufe können KI-Agenten über die API des Modells und zugehörige Werkzeuge erlernte Fähigkeiten nacheinander einsetzen und nach Fehlern weitermachen.
Von Wäsche bis zum Kabelwechsel
Nexuni testet, wie Roboter mit dem Modell Wäsche handhaben, Foxconn nutzt es zur Automatisierung der Serverfertigung und Siemens prüft seinen industriellen Einsatz.
MicroAGI nutzt ein mit bestärkendem Lernen nachtrainiertes GR00T 2, um Ethernet-Kabel mit einem YAM-Roboterarm auszutauschen. Der Ablauf verwendet Isaac Lab 3.0 und Newton, um Simulationsumgebungen automatisch zu erstellen und zu kalibrieren, in denen die Roboterstrategie trainiert wird. Eine Vorführung des Verfahrens ist für die CoRL geplant.
Video und Simulation für das Robotertraining
Neben dem Modell stellte NVIDIA das offene Verfahren Video to Data vor. Es wandelt Videos von Menschen in simulierte Roboterdemonstrationen um, die zur Erstellung von Trainingsdaten dienen.
Die neue Version des offenen Frameworks Isaac Lab 3.0 ermöglicht es Agenten, Trainingsumgebungen vorzubereiten. Forschende können zwischen den Physik-Solvern NVIDIA PhysX und Newton wählen. Zudem enthält die Version eine neue Bibliothek, mit der sich Basismodelle wie GR00T durch bestärkendes Lernen nachtrainieren lassen.
Die engere Integration mit der offenen Physik-Engine Newton ermöglicht es Isaac Lab, verformbare Gegenstände wie Kabel und Stoff sowie komplexe Gelenksysteme wie Roboterhände zu simulieren.
In einem Benchmark für visuell gesteuerte geschickte Manipulation erreichte Isaac Lab 3.0 mit Newton laut NVIDIA einen bis zu 2,5-fachen Trainingsdurchsatz gegenüber Isaac Lab 2.3 mit PhysX.
Bewertung unter unterschiedlichen Bedingungen
Die Entwicklervorschau von Isaac Lab-Arena 0.4 ermöglicht es, wiederholbare Bewertungen von Roboterstrategien zusammenzustellen und sie parallel in Tausenden Umgebungsvarianten auszuführen. Analysen zeigen anschließend, welche Bedingungen zu Fehlschlägen führen.
