Runway, firma známá hlavně díky generování videa, ukázala model Solaris. Jde o první model z nové skupiny systémů, kterým říká Interface World Models, tedy světové modely pro uživatelská rozhraní. Solaris nevytváří kód, který by pak vykreslil prohlížeč. Vykresluje samotné rozhraní, snímek po snímku, v reálném čase a podle toho, co uživatel právě dělá. Když kliknete na tlačítko, nespustí se žádná obsluha události. Model jednoduše nakreslí další snímek s tím, co se po kliknutí stalo.
Runway má jiný pohled na věc
Runway staví celou myšlenku na jednom problému. Každý operační systém, od starých terminálů po Linux a macOS, určuje, co se objeví na obrazovce a co se stane, když na to někdo klikne. Aplikace pak běží na tom, co jim operační systém dovolí, a nezmění se, dokud vývojáři nevydají aktualizaci. Solaris to schéma obchází a obrazovku vykresluje rovnou sám.
Návrhy softwaru jsou dnes vizuálnější než kdy dříve. Obrazové modely zvládnou vygenerovat celou obrazovku tak, že je téměř k nerozeznání od hotového produktu. Obrázek ale nefunguje jako web nebo aplikace. Mezi návrhem a hotovým produktem stále stojí překlad do mezijazyka, obvykle do kódu, což podle Runwaye ubírá možnosti na obou stranách. Každé chování se musí popsat a naprogramovat dopředu, takže hotový software je pouze zmenšeným výřezem z toho, co všechno by uživatel mohl chtít udělat. Zároveň se tím ztrácí vizuální bohatost původního návrhu.
Solaris řeší vykreslování a reakce na vstup zároveň. Jeden model generuje každý snímek i každou odpověď na akci uživatele. Žádný převodní krok tam není, takže se podle Runwaye nic neztrácí a rozhraním se stává celý snímek.
Tři věci, které umí jinak
První je čistě vizuální povaha. Když je obrázek zároveň aplikací, není potřeba druhá, skrytá implementace pod tím, co uživatel vidí. Runway to ukazuje na virtuálním obchodu s oblečením, kde je samotný showroom rozhraním. Stačí jedna fotka uživatele jako vzor. Uživatel si pak může vzít košili ze stojanu, přetáhnout ji na sebe a vyzkoušet si ji, případně si přerovnat celou výlohu podobně jako v kamenném obchodě.
Druhou vlastností je, že scéna žije. Aplikace se vykresluje průběžně, takže se neustále mění a nečeká na další akci. Odrazy se posouvají podle světla a předměty reagují, když s nimi někdo pohybuje. Uživatel může zadat pokyn typu posuň stůl, ať vidím, jak to vypadá, nebo změň barvu pohovky. Runway tvrdí, že výsledek působí méně jako klikání po předem vytvořených stránkách a více jako pohyb v živém prostředí.
Dalším bodem je otevřenost. Klasická rozhraní umí jen to, s čím vývojáři při programování počítali. Solaris zvládne ve stejné scéně podpořit i zcela jiné chování, protože vstup vyhodnocuje za běhu. Runway ukazuje jeden a tentýž výchozí snímek, rentgen ruky, který dokáže na stejné přetažení zareagovat dvěma zcela odlišnými způsoby.
Firma přehodnocuje i samotnou myš. Když se interakce popisují běžným jazykem namísto programování, nemusí být určené dopředu a každý předmět ve scéně se může stát nástrojem. Kliknete na kočku a další kliknutí přenášejí barvu a strukturu její srsti na to, čeho se dotknete. Kliknete na obraz a začnete kreslit jeho stylem.
Z čeho je Solaris postavený
Solaris vychází z modelu Gen-4.5 pro generování videa a pokračuje ve směru, který Runway otevřel obecným světovým modelem GWM-1. Firma model upravila tak, aby rozuměl interakci a odpovídal okamžitě. Vstup uživatele bere Solaris jako podmínku pro další snímek, podobně jako text nebo obrázek. Sleduje kliknutí, tahy a další akce v průběhu generování a používá je jako vodítko pro to, co má následovat. Protože vždy vidí pouze interakce, které se již staly, učí se vztah mezi akcí a jejím vizuálním následkem. Nikdo mu tedy nemusí programovat, co se má stát po kliknutí nebo přetažení.
Rychlost byla podle Runwaye největší překážkou. Interakce přestává působit přirozeně přibližně při půlsekundovém zpoždění, zatímco běžné difuzní modely potřebují na klip sekundy nebo minuty. Runway to vyřešil třemi kroky. Nejdříve model naučil generovat postupně snímky, kdy každý závisí pouze na předchozím kontextu. Poté zkrátil dlouhý proces odšumování na několik málo kroků. Nakonec trénoval rychlý model na jeho vlastních výstupech, aby obraz zůstal stabilní i při dlouhodobém provozu. Stejná úprava, která model zrychlila, jej podle firmy zároveň udělala řádově levnějším na provoz než běžný difuzní model pro video.
Rozhodování a vykreslování jsou přitom oddělené. Solaris kreslí snímek po snímku, zatímco jazykový model určuje, jak se rozhraní vyvíjí. Ten čte požadavky uživatele a rozhoduje, zda má interakce pouze upravit současnou scénu, nebo přejít do nové. Popisuje také chování, které scénu udržuje živou, a skládá zadání, podle nichž Solaris kreslí. Uživatel dodá výchozí stav, například prostředí značky nebo scénu s produktem, a model pak streamuje snímky v reálném čase. Žádné předem připravené obrazovky ani šablony, ke kterým by se dalo vrátit, v systému nejsou.
Využití a slabiny
Dnešní jazykové modely si podle firmy neporadí ani se základní prací s počítačem, například s rezervací hotelu nebo nákupem potravin. Trénují se totiž na naprogramovaných rozhraních, takže se naučí konkrétní rozvržení a s trochu jinou stránkou, řekněme s webem druhého hotelu, si již neporadí. Solaris dokáže agentovi nabídnout prostředí, které se neustále mění, a to včetně rozvržení, jaká nikdy neexistovala.
Model zatím nejvíce jej trápí text. Stabilní a čitelné písmo patří k nejtěžším úlohám generování videa, přičemž uživatelské rozhraní na textu stojí více než téměř cokoli jiného. Jedna možná cesta vede přes kombinaci, kdy obrázkové modely vykreslí textové obrazovky ve chvíli, kdy krátká pauza nevadí, a video model se stará o plynulou interakci.
Dalším problémem je spolehlivost. U výukových nebo obchodních situací je přesvědčivá nesprávná odpověď horší než žádná. Solaris se zatím drží toho, co mu uživatel dodá. Výchozí snímek se dá složit z reálných produktových fotek a podkladů, což scénu ukotví v objektech, které opravdu existují. Napojení generování na prověřené podklady během delšího provozu, tedy na referenční obrázky, produktová data a dokumenty, firma dál zkoumá. Problémové zůstávají dlouhé relace, kde je obtížné udržet obraz i význam pohromadě, a přístupnost, protože generované rozhraní musí umět spolupracovat i se čtečkami obrazovky a podobnými pomůckami.
Solaris běží v rozlišení 720p a Runway jej staví jako první krok k nové obslužné vrstvě. Firma si od ní slibuje, že aplikace přestane být základní jednotkou, se kterou uživatel pracuje. Když si totiž operační systém dokáže rozhraní vygenerovat sám, nemá velký smysl třídit software do stálého katalogu aplikací. Obchod už podle ní nemusí mít pevné rozvržení, které vidí každý stejně, a návod nemusí každému přehrávat identickou posloupnost kroků.
Model zatím veřejně dostupný není.
