Physical Intelligence hat die Betaversion der Pi API gestartet und macht damit seine Robotik-Basismodelle externen Teams zugänglich. Entwickler können Daten ihres eigenen Roboters hochladen, ein Modell nachtrainieren und es über eine gehostete Inferenzschnittstelle nutzen. Das Unternehmen übernimmt die Recheninfrastruktur für Training und Modellbetrieb, die Teams bislang meist selbst bereitstellen mussten.
Von ferngesteuerten Demonstrationen zu Aktionsvorhersagen
Die Arbeit mit der API beginnt am jeweiligen Roboter. Das Team steuert ihn aus der Ferne und zeichnet erfolgreiche Demonstrationen der gewünschten Aufgabe auf. Der so entstandene Datensatz wird in die Infrastruktur von Pi hochgeladen, wo das Basismodell damit nachtrainiert wird. Im anschließenden Betrieb ist der Roboter mit einem gehosteten Gateway verbunden, das Aktionsvorhersagen liefert.
Gegenüber der bisherigen Anpassung der offenen Modelle π0 und π0.5 ändert sich vor allem die Aufgabenverteilung bei der Infrastruktur. Teams kümmerten sich dabei üblicherweise selbst um Trainingsrechenleistung und Datenpipelines. Auch die Infrastruktur für Bereitstellung und Modellbetrieb lag bei ihnen. Mit der Pi API übernimmt Pi die Verwaltung der Recheninfrastruktur für Nachtraining und Betrieb.
Nach Angaben von Physical Intelligence sollen weitere Trainingsrunden auf aufgezeichneten Fehlschlägen aufbauen. Teams sammeln gezielte Demonstrationen für problematische Situationen und trainieren das Modell erneut. Als Beispiele nennt das Unternehmen auf links gedrehte Kleidung oder Zutaten, die aus einer Schöpfkelle fallen; in der Fertigung können es Teile sein, die in der falschen Position landen.
Almond entwickelte in vier Tagen ein Modell zum Entgraten
Ein konkretes Beispiel für die Arbeit mit der API liefert Partner Almond. Nach vier Tagen iterativer Entwicklung entstand ein Modell für den zweiarmigen Roboter Axol, der Abstandshalter für die Montage entgratet.
Bei Partner Actor kommt die Robotersteuerung im Materialumschlag zum Einsatz. Ein autonomer Radlader nimmt in einem kommerziellen Einsatz Material auf und lädt es in einen Muldenkipper, ohne dass ein Bediener in der Maschine sitzt.
Weitere beschriebene Anwendungen umfassen die Zubereitung und das Anrichten von Speisen bei Chef Robotics, CloudChef und Omakase. In der Landwirtschaft setzt AgRobotics Roboter zur Erdbeerernte ein.
Cloud-Inferenz stellt Anforderungen an die Verbindung
Physical Intelligence zufolge nutzte die Mehrheit der Partneranwendungen Cloud-Inferenz. Die Partnerprojekte fanden in Japan, der Schweiz und den Vereinigten Staaten statt.
Diese Einsätze brachten zugleich Verbindungsprobleme ans Licht. Bei der Cloud-Steuerung sendet der Roboter seine Beobachtungen an ein entferntes Modell und erhält Aktionsvorhersagen zurück. Damit wirken sich Netzwerklatenz und Verbindungsabbrüche auf den Regelkreis aus.
Für die Integration des Roboters, die Datenqualität und die Auswertung der Ergebnisse bleibt das Team verantwortlich, das die API nutzt. Ebenso liegen lokale Sicherheitssysteme, die Wiederherstellung nach Fehlern und die Einhaltung der mechanischen Grenzen der Hardware bei ihm.
Beta-Zugang über Warteliste, neuere Modelle geplant
Der Zugang zur Betaversion setzt derzeit eine Anmeldung auf der Warteliste voraus. Physical Intelligence erklärt, sein neuestes über die API verfügbares Modell mache das Nachtraining effizienter und verbessere die Ergebnisse der Partner.
Das Unternehmen plant außerdem, neuere Basismodelle über denselben API-Endpunkt bereitzustellen.
