Stellen Sie sich einen Roboter vor, der dank einer Kombination aus Sehen, Sprache und Aktionen Gegenstände ebenso geschickt wie ein Mensch handhaben kann. GR-Dexter ist genau ein solches System, das Hardware, Modell und Daten zur Steuerung eines Roboters mit zwei geschickten Händen vereint. Dieser Ansatz ermöglicht langfristige Manipulationsabläufe auf Grundlage sprachlicher Anweisungen, konzentriert sich jedoch auf komplexe Plattformen mit einer hohen Anzahl an Freiheitsgraden, etwa Hände mit vielen Gelenken. Das System bewältigt Herausforderungen wie einen erweiterten Aktionsraum, die häufige Verdeckung der Hände durch Gegenstände und die Kosten für das Erfassen von Demonstrationen. GR-Dexter verwendet eine kompakte Roboterhand mit einer hohen Anzahl an Freiheitsgraden, intuitive Teleoperation zur Datenerfassung und ein Trainingsverfahren, das Robotertrajektorien mit umfangreichen Bild- und Sprachdaten sowie sorgfältig ausgewählten Daten unterschiedlicher Roboterkörper kombiniert.
Hardware und Steuerung
Die Roboterhand ByteDexter V2 ist ein zentrales Element. Diese Hand verwendet einen kupplungsgetriebenen Mechanismus für eine bessere Kraftübertragung, höhere Widerstandsfähigkeit und einfache Wartung. Als Weiterentwicklung der vorherigen Version V1 verfügt sie über einen zusätzlichen Freiheitsgrad für den Daumen und damit insgesamt über 21 Freiheitsgrade. Die Hand ist kleiner als zuvor – 219 Millimeter hoch und 108 Millimeter breit. Jeder Finger verfügt über vier Freiheitsgrade, der Daumen über fünf, wodurch ein breites Spektrum an Bewegungen einschließlich Oppositionsgesten möglich ist. Die fünf Fingerspitzen sind mit dichten Feldern piezoresistiver Sensoren bedeckt, die Normalkräfte mit hoher räumlicher Genauigkeit an Spitze, Fingerkuppe und Seite des Fingers messen.
Für das bimanuelle System werden die Daten über eine Teleoperationsschnittstelle mit Meta Quest VR zur Verfolgung der Handgelenkposition, zwei Manus Metagloves zur Erfassung der Handbewegungen und Fußpedalen zur Steuerung der Arme gesammelt. Zwei Meta-Quest-Controller sind auf der Rückseite der Handschuhe befestigt, um koordinierte Bewegungen von Handgelenk und Hand zuverlässig zu verfolgen. Dieser Aufbau ermöglicht es Teleoperatoren, zwei Franka-Arme gleichzeitig bei langfristigen Aufgaben zu steuern. Menschliche Bewegungen werden in Echtzeit in Gelenkbefehle umgewandelt, wobei die Abbildung über eine Ganzkörpersteuerung kinematisch konsistent erfolgt. Das System umfasst adaptive Mechanismen für den Verlust der visuellen Verfolgung und zur Vermeidung gefährlicher Operationen. Das Retargeting der Handbewegungen wird als beschränktes Optimierungsproblem formuliert, das Vektoren von der Handgelenk- zur Fingerspitze, Vektoren zur Daumenspitze, Kollisionsvermeidung und einen Regularisierungsterm umfasst und mittels sequenzieller quadratischer Programmierung gelöst wird.
Das GR-Dexter-Modell
GR-Dexter baut auf GR-3 auf und verwendet für das VLA-Modell (Sehen-Sprache-Aktion) eine Mixture-of-Transformer-Architektur mit 4 Milliarden Parametern. Dieses Modell erzeugt auf Grundlage einer sprachlichen Anweisung, der Beobachtungen und des Roboterzustands Aktionssequenzen der Länge k. Jede Aktion umfasst Gelenkaktionen der Arme, Posen der Endeffektoren der Arme, Gelenkaktionen der Hände und Positionen der Fingerspitzen.
Das Training umfasst gemeinsames Lernen aus drei Datenquellen: umfangreichen Bild- und Sprachdaten, Daten unterschiedlicher Roboterkörper und menschlichen Trajektorien. Um Unterschiede zwischen den Daten zu berücksichtigen, werden nicht verfügbare oder unzuverlässige Aktionsdimensionen, etwa bestimmte Gelenke, maskiert. Die Bild- und Sprachdaten stammen aus GR-3 und decken Aufgaben wie Bildbeschreibungen, die Beantwortung von Fragen, die Lokalisierung in Bildern und Beschreibungen mit Lokalisierung ab. Die Daten unterschiedlicher Roboterkörper stammen aus offenen Datensätzen wie dem Fourier ActionNet Dataset, dem OpenLoong Baihu Dataset und RoboMIND, die verschiedene bimanuelle, dexteröse Manipulationen umfassen. Menschliche Trajektorien werden über VR-Geräte wie Pico VR erfasst und ergänzen offene Datensätze, um Umfang und Vielfalt zu erhöhen.
Für die Übertragung von Daten unterschiedlicher Roboterkörper werden die Kamerabeobachtungen standardisiert und durch Ausrichtung der Fingerspitzen auf ByteDexter V2 retargetet, wodurch die Kontaktgeometrie unabhängig von den Gelenken erhalten bleibt. Anschließend werden die Trajektorien nach Aufgabenkategorien neu abgetastet, um eine ausgewogene Verteilung zu erreichen. Menschliche Trajektorien werden anhand der Sichtbarkeit und Geschwindigkeit der Hände gefiltert und anschließend auf dieselbe visuelle und kinematische Repräsentation wie die Roboterdaten abgebildet.
Experimente und Ergebnisse
In den Experimenten wird GR-Dexter bei langfristigen bimanuellen Manipulationsabläufen sowie beim allgemeinen Aufnehmen und Platzieren getestet. Die Bewertung erfolgt anhand von Aufgaben mit dexterösem Werkzeugeinsatz, langfristiger Ausführung und Szenarien außerhalb der Trainingsverteilung mit neuen räumlichen Konfigurationen, unbekannten Gegenständen und Anweisungen.
In den Basiseinstellungen, bei denen die räumliche Anordnung der Gegenstände in den Trainingsdaten enthalten ist, erreicht GR-Dexter eine Erfolgsrate von 0,97 und ist damit mit dem ausschließlich durch Teleoperation trainierten Modell mit 0,96 vergleichbar. In Einstellungen außerhalb der Trainingsverteilung mit neuen Anordnungen sinkt die Erfolgsrate des ausschließlich durch Teleoperation trainierten Modells auf 0,64, während GR-Dexter 0,89 erreicht. Dies zeigt die bessere Generalisierungsfähigkeit dank der Bild- und Sprachdaten.
Weitere qualitative Ergebnisse umfassen Aufgaben wie Staubsaugen, bei denen der Roboter einen Tischstaubsauger mit vier Fingern hält, mit dem Daumen die Taste zum Einschalten und anschließend zur Erhöhung der Leistung drückt und dann Konfetti aufsaugt. Eine weitere Aufgabe ist das Servieren von Brot: Der Roboter greift eine Lebensmittelzange und nimmt damit ein Croissant aus einem Behälter, während die andere Hand einen Teller hält. Anschließend öffnet er die Zange und legt das Croissant auf den Teller.
Beim allgemeinen Aufnehmen und Platzieren in den Basiseinstellungen erreicht GR-Dexter 0,93 und übertrifft damit das ausschließlich durch Teleoperation trainierte Modell mit 0,87. Ohne Daten unterschiedlicher Roboterkörper liegt der Wert bei 0,85. In Einstellungen mit unbekannten Gegenständen und Anweisungen sinkt die Erfolgsrate des ausschließlich durch Teleoperation trainierten Modells deutlich, während GR-Dexter dank der höheren Robustheit durch Daten unterschiedlicher Roboterkörper 0,85 für Gegenstände und 0,83 für Anweisungen erreicht.
GR-Dexter stellt somit einen praktischen Fortschritt auf dem Weg zu allgemeinen dexterösen robotischen Manipulationen dar.
