Runway představil Praxis-1, svůj první robotický model typu „world action model“, který využívá rozsáhlé předtrénování na videích. Firma navrhuje tento základ následně doladit na datech konkrétních robotů, aby snížila potřebu demonstrací získávaných jejich dálkovým ovládáním. Model nyní prochází ranými partnerskými testy a jeho váhy mají být zveřejněny v nadcházejících měsících.
Od vizuálního pohybu k robotickým příkazům
Navržený postup má dvě fáze. Runway chce nejprve využít webová videa k učení pohybu, vzájemných interakcí objektů a fyzikálně věrohodného chování. Teprve poté přichází doladění na robotických datech. Cílem firmy je omezit množství demonstrací, které je nutné získávat pro jednotlivé úlohy a hardwarové konfigurace.
Samotný obrazový záznam ale obvykle neobsahuje informace, jež robot zaznamenává při vykonávání úlohy. Ve webových videích chybějí řídicí příkazy, polohy kloubů i měření sil. Praxis-1 proto potřebuje doladění na datech konkrétních robotů, které propojí naučené vizuální poznatky s příkazy, jež může stroj skutečně vykonat.
Experiment porovnal dva zdroje předtrénování
Runway uvádí, že výkon modelu roste s větším rozsahem předtrénování na videích pořízených z pohledu třetí osoby. V jednom experimentu s umisťováním firma porovnala webová videa se záznamy dálkově ovládaných robotů. Po následném doladění dosáhla varianta předtrénovaná na webových videích konečné chyby 16,1 cm, zatímco varianta využívající robotická videa skončila na 16,0 cm.
Další výsledek se týká hodnocení řídicích strategií v simulaci. Runway uvádí korelaci 0,95 mezi hodnocením ve svých generovaných simulacích a výsledky na fyzických robotech.
Cílem jsou obtížné manipulační úlohy
Runway zaměřuje Praxis-1 na čtyři problémové oblasti manipulace. Jednou je výběr správného cíle mezi téměř totožnými předměty. Další představují nepřehledné scény, v nichž se objekty překrývají a vzájemně zakrývají.
U průhledných předmětů firma cílí na odhad tvaru a hloubky při slabých vizuálních vodítkách. Čtvrtou oblastí jsou deformovatelné objekty, například látka, které nemají pevně daná místa pro uchopení.
Testy na různých robotech a plánované otevřené váhy
Runway v oznámení popisuje stejnou řídicí strategii fungující bez přetrénování na různých robotických konstrukcích. Zahrnuje dvouramenné systémy, ramena se šesti stupni volnosti i mobilní základny. V raných partnerských testech používá Noble Machines dvouramenný manipulační systém, Standard Bots rameno RO1 se šesti stupni volnosti a Ultra mobilní robotickou základnu.
Přenos mezi prostředími firma předvedla v samostatné ukázce. Stejná řídicí strategie pracovala v kontrolovaném studiu i v domácí kuchyni bez dodatečného trénování.
Veřejné vydání vah Praxis-1 Runway plánuje v nadcházejících měsících. Vývojáři mohou mezitím požádat robotický tým firmy o předběžný přístup.
