Runway představuje GWM-1: Revoluce v simulacích reality // GWM-1 od Runway: Od videa k robotům a avatarům // Nový světový model GWM-1 mění AI na interaktivní nástroj // Runway's GWM-1: Simulace pro hry, roboty a konverzace // GWM-1: Runway expanduje za hranice Hollywoodu do reálného světa
Firma Runway, která se proslavila tvorbou videí pomocí umělé inteligence, teď přichází s něčím novým. Jejich první rodina světových modelů se jmenuje GWM-1. Tento model je postavený na základě jejich video modelu Gen-4.5 a funguje tak, že předpovídá snímky po snímcích. Běží v reálném čase a dá se ovládat interaktivně, například pohybem kamery, příkazy pro roboty nebo zvukem. Podle informací z oficiálního oznámení Runway, je cílem vytvářet simulace, které napodobují skutečný svět, včetně fyziky a interakcí.
GWM-1 není jen jeden model, ale tři varianty, každá přizpůsobená pro jinou oblast. Každá z nich byla dodatečně trénovaná na specifických datech. Podle Anastasise Germanidise, technického ředitele Runway, k vytvoření světového modelu bylo nutné nejdřív vyvinout skvělý video model. Firma věří, že předpovídání pixelů na přímo je nejlepší cesta k univerzální simulaci. Na dostatečné škále a se správnými daty takový model chápe, jak svět funguje.
Varianty GWM-1: Worlds, Robotics a Avatars
První varianta se jmenuje GWM Worlds. Tento model umožňuje prozkoumávat digitální prostředí v reálném čase. Uživatel zadá scénu textovým popisem nebo obrázkem a model generuje svět s porozuměním geometrie, fyziky a osvětlení. Simulace běží při 24 snímcích za sekundu v rozlišení 720p. Když se pohybujete, svět zůstává konzistentní – otočíte se a to, co bylo za vámi, tam pořád je. Můžete definovat fyziku, například jestli agent jede na kole po zemi nebo létá jako dron. Podle Runway to slouží pro hry, kde hráči volně procházejí světy bez nutnosti ručně navrhovat každý detail, nebo pro vzdělávání, jako prozkoumávání historických míst. Taky se hodí pro trénink agentů, kteří se učí navigovat ve fyzickém světě.
Další varianta je GWM Robotics. Tento model generuje syntetická data pro trénink robotů a hodnocení jejich chování. Podporuje generování videí podmíněných akcemi robota, včetně alternativních scénářů, kde se zkoumají různé výsledky. Runway nabízí Python SDK pro tento model, který umožňuje generování videí z více pohledů a dlouhých sekvencí. Syntetická data rozšiřují existující datasety o nové objekty, instrukce úkolů nebo změny prostředí, jako různé počasí nebo překážky. To zlepšuje robustnost trénovaných politik bez nákladného sběru dat v reálném světě. Model taky testuje, jestli robot porušuje pravidla v různých situacích, což je rychlejší a bezpečnější než testy na skutečných robotech. Firma je v kontaktu s několika robotickými firmami pro využití tohoto modelu.
Poslední varianta je GWM Avatars. Tento model vytváří realistické avatary, kteří simulují lidské chování. Generuje přirozené pohyby, výrazy tváře, pohyby očí, synchronizaci rtů a gesta během mluvení i poslouchání. Funguje pro fotorealistické nebo stylizované postavy a udržuje kvalitu i při dlouhých konverzacích. Podle Runway to slouží pro real-time výuku, jako personalizovaní učitelé, kteří reagují na otázky s přirozenými výrazy. Další využití je v zákaznické podpoře, trénovacích simulacích nebo interaktivních hrách. Tento model bude brzy dostupný ve webové aplikaci Runway a jejich API.
Runway plánuje sloučit tyto tři varianty do jednoho základního modelu, který by pokryl různé domény a akční prostory.
Aktualizace video modelu Gen-4.5
Kromě GWM-1 Runway aktualizoval svůj základní model Gen-4.5, který nedávno překonal modely od Googlu a OpenAI v žebříčku Video Arena. Nově přidává nativní generování zvuku a dlouhé, vícenásobné generování. Uživatelé teď mohou vytvářet videa dlouhá až jednu minutu s konzistentními postavami, dialogy, zvukovými efekty a pozadím. Model generuje realistické dialogy, zvukové efekty a imerzivní pozadí.
Také přichází editace zvuku – můžete upravovat existující audio ve videích, přidávat dialogy nebo měnit zvuky. Další novinkou je multi-shot editace, kde se změna v jedné scéně propíše do celého videa libovolné délky, například změna barvy očí postavy nebo pozadí na džungli. Tyto funkce jsou dostupné pro platící uživatele a přibližují Runway k nástrojům jako Kling, který taky nabízí vše v jednom balíku.
Tyto pokroky jsou působivé, zvlášť pokud se potvrdí tvrzení o konzistenci při delších sekvencích. Runway taky oznámil spolupráci s CoreWeave pro využití Nvidia GB300 NVL72 racků na trénink a inferenci.
Další detaily
GWM Robotics je dostupný přes SDK a firma jedná s podniky o využití Robotics a Avatars. GWM Worlds se hodí pro VR a immersivní zážitky, kde se generují nekonečné prozkoumávatelné reality. Podle Ivana Mehty a Rebeccy Bellan z TechCrunch, GWM-1 je obecnější než konkurenční modely jako Google Genie-3 a slouží pro trénink agentů v robotice nebo biologických vědách.
Runway zdůrazňuje, že světové modely jsou hranicí pokroku v umělé inteligenci, protože jazykové modely samy nestačí na složité problémy jako robotika nebo vědecké objevy. Simulace umožňují zrychlené učení z chyb bez rizik v reálném světě. Podle Cristóbala Valenzuely, CEO Runway, je GWM-1 velký posun směrem k univerzální simulaci. Firma nabízí formulář pro žádost o předběžný přístup k těmto nástrojům.
