Reka vydala výzkumnou ukázku Rho-1, modelu s 19 miliardami parametrů, který zpracovává i vytváří text, obrázky, video a robotické akce v jediném checkpointu. Vytvořená média a řídicí signály zůstávají ve společném kontextu, takže další kroky téže relace mohou navázat bez předávání stavu mezi samostatnými modely.
Od obrázku majáku k úpravám videa
Reka návaznost jednotlivých úloh předvedla na scéně s majákem. Model nejprve vytvořil obrázek a na další pokyn v něm označil maják ohraničujícím rámečkem. Poté scénu rozpohyboval jako průlet dronu a následně do videa přidal sněhovou bouři, přičemž zachoval pohyb kamery.
Poslední část demonstrace přešla od tvorby zpět k analýze: Rho-1 vysvětlil rozdíly mezi vzniklými videi. Celou posloupnost obsluhoval jeden model, včetně udržování stavu relace mezi kreslením, lokalizací objektu, animací a slovním porovnáním výsledků.
Dvě výpočetní větve se sdílenou pozorností
Podle popisu výzkumu Reky se každý blok transformeru dělí na dvě větve, které sdílejí operaci pozornosti. Větev porozumění zpracovává jazyk, tokeny uvažování a vizuální informace; její výstup tvoří diskrétní tokeny. Generativní větev naproti tomu používá flow matching k odšumování spojitých latentních reprezentací, z nichž vznikají obrázky a video.
Rozdělení se promítá také do formátu dat. Text, symbolické uvažování a vysokoúrovňové příkazy mají podobu diskrétních tokenů. Spojité reprezentace nesou obrazové latentní reprezentace a snímky videa, ale také robotické akce a propriocepci, tedy například údaje o poloze a pohybu kloubů.
Rho-1 Flash a změny směru během generování
Reka uvádí u základního Rho-1 celkem 99 kroků odšumování, mediánovou rychlost generování 0,79× reálného času a začátek streamování přibližně po šesti sekundách. Destilovaná varianta Rho-1 Flash používá osm kroků a podle firmy vytvoří 5,3sekundové video asi za jednu sekundu. Při úpravách videa má se stejným počtem kroků znovu vykreslit přibližně sekundový klip za zhruba 1,1 sekundy.
Další demonstrace Reky ukázala zásah do směru letu v průběhu tvorby videa. Půl sekundy po začátku letecké sekvence přišly pokyny k náklonu doleva nebo doprava. Obě vzniklé větve zachovaly stejné úvodní snímky a teprve poté pokračovaly po rozdílných trajektoriích.
Robotické akce v simulaci LIBERO
Robotickou část Reka předvedla v simulační úloze LIBERO. Rho-1 současně vytvářel sedm akčních kanálů a předpověď obrazu z kamery na zápěstí robota. Ukázka tak spojovala výstup řízení s vizuální předpovědí v rámci simulace, nikoli doloženého nasazení na fyzickém robotu.
Ve výzkumu firma Rho-1 propojuje také se svým modelem inverzní dynamiky. Ten z pozorovaného videa odhaduje řídicí signály, které mohly zachycený pohyb vyvolat, a může převádět vhodné neoznačené záběry na odvozená akční data. Jejich využitelnost závisí na shodě domény a na přesnosti odhadnutého řízení.
Společný základ trénovaný na 320 GPU
Checkpoint použitý pro zveřejněné výsledky se trénoval od začátku po dobu tří měsíců na 320 GPU Nvidia H100. Jeden společný základ během tohoto běhu zahrnoval jazyk, vizuální porozumění, tvorbu médií i řízení.
Podle popisu výzkumu Reky trénování souběžně používá dva cíle. Predikce dalšího tokenu slouží pro diskrétní sekvence, například text a symbolické příkazy. Flow matching se používá pro spojité generování obrázků, videa a akčních trajektorií.
Delší video ztrácí prostorovou konzistenci
Reka mezi omezeními uvádí strukturální drift při delším generování. Třicetisekundový stream může zachovat textury a jemné detaily, zatímco uspořádání místnosti se změní do prostorově nekonzistentní podoby. Nativně generované video je omezeno rozlišením 672 × 384 pixelů.
Podle firmy fungují ohraničující rámečky na statických obrázcích, ale při sledování objektů ve videu nejsou spolehlivé. Také cílené úpravy uspívají u vybraných zadání, zatímco napříč širšími vstupy zůstávají nespolehlivé.
Přístup přes spolupráci na Reka Cloud
Rho-1 je zatím dostupný jako výzkumná ukázka prostřednictvím spolupráce na Reka Cloud. Reka nevydala veřejné váhy ani veřejné API, takže vývojáři model nemohou přímo integrovat do svých aplikací.
