Runway hat Praxis-1 vorgestellt, sein erstes Robotikmodell vom Typ „World Action Model“, das auf umfangreichem Video-Vortraining aufbaut. Das Unternehmen schlägt vor, diese Grundlage anschließend mit Daten konkreter Roboter feinzujustieren, um weniger Demonstrationen per Fernsteuerung zu benötigen. Das Modell befindet sich in frühen Partnertests; seine Gewichte sollen in den kommenden Monaten veröffentlicht werden.
Von sichtbaren Bewegungen zu Roboterbefehlen
Der vorgeschlagene Ansatz besteht aus zwei Phasen. Runway will zunächst Webvideos nutzen, um Bewegungen, Wechselwirkungen zwischen Objekten und physikalisch plausibles Verhalten zu erlernen. Anschließend folgt die Feinabstimmung mit Roboterdaten. Damit möchte das Unternehmen die Zahl der Demonstrationen verringern, die für einzelne Aufgaben und Hardwarekonfigurationen erforderlich sind.
Eine Videoaufnahme enthält jedoch gewöhnlich nicht die Informationen, die ein Roboter bei der Ausführung einer Aufgabe erfasst. In Webvideos fehlen Steuerbefehle, Gelenkpositionen und Kraftmessungen. Praxis-1 benötigt deshalb eine Feinabstimmung mit Daten konkreter Roboter, die das erlernte visuelle Wissen mit ausführbaren Befehlen verbindet.
Experiment vergleicht zwei Quellen für das Vortraining
Runway zufolge verbessert sich die Leistung des Modells mit umfangreicherem Vortraining auf Videos aus der Beobachterperspektive. In einem Platzierungsexperiment verglich das Unternehmen Webvideos mit Aufnahmen ferngesteuerter Roboter. Nach der anschließenden Feinabstimmung erreichte die mit Webvideos vortrainierte Variante einen endgültigen Platzierungsfehler von 16,1 cm; bei der Variante mit Robotervideos waren es 16,0 cm.
Ein weiteres Ergebnis betrifft die Bewertung von Steuerungsstrategien in Simulationen. Runway berichtet eine Korrelation von 0,95 zwischen Bewertungen in seinen generierten Simulationen und Ergebnissen auf physischen Robotern.
Schwierige Manipulationsaufgaben im Fokus
Runway richtet Praxis-1 auf vier problematische Bereiche der Objektmanipulation aus. Dazu zählt die Auswahl des richtigen Zielobjekts unter nahezu identischen Gegenständen. Ein weiterer Bereich sind unübersichtliche Szenen, in denen sich Objekte überlagern und gegenseitig verdecken.
Bei transparenten Gegenständen zielt das Unternehmen darauf ab, Form und Tiefe trotz schwacher visueller Anhaltspunkte einzuschätzen. Der vierte Bereich umfasst verformbare Objekte wie Stoff, bei denen es keine festgelegten Greifpunkte gibt.
Tests auf verschiedenen Robotern und geplante offene Gewichte
In seiner Ankündigung beschreibt Runway eine Steuerungsstrategie, die ohne erneutes Training auf unterschiedlichen Roboterkonstruktionen funktioniert. Dazu gehören zweiarmige Systeme, Arme mit sechs Freiheitsgraden und mobile Plattformen. In den frühen Partnertests nutzt Noble Machines ein zweiarmiges Manipulationssystem, Standard Bots den RO1-Arm mit sechs Freiheitsgraden und Ultra eine mobile Roboterplattform.
Die Übertragung zwischen Umgebungen zeigte das Unternehmen in einer gesonderten Demonstration. Dieselbe Steuerungsstrategie arbeitete sowohl in einem kontrollierten Studio als auch in einer häuslichen Küche, ohne zusätzliches Training.
Runway plant, die Gewichte von Praxis-1 in den kommenden Monaten öffentlich zu veröffentlichen. Entwickler können unterdessen beim Robotikteam des Unternehmens einen Vorabzugang beantragen.
