NVIDIA hat die Betaversion der offenen Newton Physics Engine angekündigt, die das Unternehmen gemeinsam mit Google DeepMind und Disney Research entwickelt hat. Dieses Tool ist nun Bestandteil von NVIDIA Isaac Lab und unterstützt Forscher sowie Entwickler bei der Entwicklung von Robotern, die sich in anspruchsvollen Umgebungen bewegen können. Newton ermöglicht die Simulation komplexer Aktionen, etwa das Gehen auf Schnee oder Schotter sowie die Handhabung von Gegenständen wie Tassen und Obst. Sein flexibles Design arbeitet mit verschiedenen Arten physikalischer Solver und stellt so sicher, dass in der Simulation erlernte Fähigkeiten sicher auf die reale Welt übertragen werden können.
Diese Engine wird bereits von bedeutenden Laboren und Universitäten eingesetzt, darunter das Robotic Systems Lab der ETH Zürich, die Technische Universität München und die Universität Peking. Zu den weiteren Anwendern gehören das Robotikunternehmen Lightwheel und das auf Simulations-Engines spezialisierte Unternehmen Style3D. Newton basiert auf dem NVIDIA-Warp-Framework und OpenUSD und ermöglicht dadurch die präzise Simulation komplexer Bewegungen humanoider Roboter mit vielen Gelenken und der Notwendigkeit, das Gleichgewicht zu halten.
Isaac GR00T N1.6: Menschliches Denkvermögen für Roboter
Die neue Version des offenen Modells NVIDIA Isaac GR00T N1.6 verleiht Robotern die Fähigkeit zu menschenähnlichem Schlussfolgern. Das Modell integriert NVIDIA Cosmos Reason, ein offenes Modell für visuelles und sprachliches Schlussfolgern im Bereich der physischen KI (Physical AI). Es fungiert als „tief denkendes Gehirn“ des Roboters, das unklare Anweisungen in konkrete Pläne zerlegen und zur Bewältigung neuer Situationen auf Vorwissen und gesunden Menschenverstand zurückgreifen kann.
Das Modell Cosmos Reason wurde mehr als eine Million Mal heruntergeladen und führt die Physical Reasoning Leaderboard auf Hugging Face an. Es ist als NVIDIA-NIM-Microservice für eine einfache Bereitstellung verfügbar. Isaac GR00T N1.6 ermöglicht humanoiden Robotern, sich gleichzeitig fortzubewegen und Objekte zu handhaben, was Aufgaben wie das Öffnen schwerer Türen erleichtert. Entwickler können das Modell mithilfe des offenen NVIDIA Physical AI Dataset auf Hugging Face feinabstimmen. Dieses enthält Tausende synthetische und reale Trajektorien und wurde mehr als 4,8 Millionen Mal heruntergeladen.
Zu den Unternehmen, die dieses Modell testen, gehören AeiROBOT, Franka Robotics, LG Electronics, Lightwheel, Mentee Robotics, Neura Robotics, Solomon, Techman Robot und UCR. Sie nutzen es für die Entwicklung universell einsetzbarer Roboter, die eine breite Palette von Aufgaben in realen Umgebungen bewältigen können.
Cosmos World Foundation Models: Datengenerierung für das Training
NVIDIA hat seine offenen Cosmos World Foundation Models aktualisiert, die bei der Generierung vielfältiger Daten für das Training von Modellen der physischen KI helfen. Diese Modelle wurden mehr als drei Millionen Mal heruntergeladen und ermöglichen die Erstellung von Videos anhand von Text-, Bild- oder Videoeingaben. Die neue Version Cosmos Predict 2.5 vereint drei Modelle in einem, wodurch die Komplexität reduziert und die Effizienz gesteigert wird. Sie unterstützt längere Videos von bis zu 30 Sekunden sowie Ausgaben aus mehreren Kameras für umfangreichere Simulationen.
Ein weiteres Modell, Cosmos Transfer 2.5, ist 3,5-mal kleiner als die vorherige Version, liefert jedoch schnellere und hochwertigere Ergebnisse. Es generiert fotorealistische synthetische Daten aus 3D-Szenen und Eingaben wie Tiefeninformationen, Segmentierungen oder hochauflösenden Karten. Diese Tools lösen das Problem des Datenmangels in der Robotik und ermöglichen es, das Training von Modellen für komplexe Aufgaben zu skalieren.
Neue Workflows und Infrastruktur für Roboter
NVIDIA hat in Isaac Lab 2.3 einen neuen Workflow vorgestellt, mit dem Roboter das Greifen von Objekten erlernen können. Er basiert auf der NVIDIA-Omniverse-Plattform. Dieser Workflow trainiert Roboter mit mehrfingrigen Händen in einer virtuellen Welt mithilfe eines automatisierten Curriculums, das die Komplexität der Aufgaben schrittweise erhöht. Dabei werden Faktoren wie Schwerkraft, Reibung oder das Gewicht von Objekten variiert, um die Roboter auf unvorhersehbare Situationen vorzubereiten. Boston Dynamics hat diesen Ansatz genutzt, um die Handhabungsfähigkeiten seiner Atlas-Roboter zu verbessern.
Gemeinsam mit Lightwheel entwickelt NVIDIA Isaac Lab - Arena, ein offenes Framework zur Bewertung der Fähigkeiten von Robotern in Simulationen. Dieses Tool ermöglicht es, Roboter in Tausenden von Szenarien zu testen, ohne ein System von Grund auf neu entwickeln zu müssen. Zur Unterstützung dieser Technologien kündigte NVIDIA eine neue Infrastruktur an, darunter NVIDIA GB200 NVL72 mit 36 NVIDIA-Grace-Prozessoren und 72 NVIDIA-Blackwell-GPUs, NVIDIA RTX PRO Servers für alle Entwicklungsphasen sowie NVIDIA Jetson Thor für die Echtzeitverarbeitung direkt auf dem Roboter.
Zu den Unternehmen, die Technologien von NVIDIA Isaac und Omniverse einsetzen, gehören Agility Robotics, Boston Dynamics, Disney Research, Figure AI, Franka Robotics, Hexagon, Skild AI, Solomon und Techman Robot. Forschungseinrichtungen wie die Stanford University, die ETH Zürich und die National University of Singapore nutzen diese Tools, um Fortschritte in der Robotik zu erzielen. Rev Lebaredian, Vice President für Omniverse und Simulationstechnologien bei NVIDIA, betonte, dass diese Aktualisierungen Entwicklern drei zentrale Komponenten bereitstellen: Isaac GR00T als Gehirn, Newton zur Simulation des Körpers und Omniverse als Trainingsumgebung.
Quelle: nvidia.com
