Laboratoř Spatial Intelligence Lab společnosti NVIDIA vydala Lyru 2.0, systém pro tvorbu prozkoumatelných 3D prostředí z jediné fotografie. Uživatel určí trasu kamery a systém podle ní vygeneruje průchod scénou, který následně převede do podoby využitelné pro vykreslování nebo simulace.
Od fotografie k průchodu scénou
Na vstupu je obrázek o rozlišení 480 × 832 bodů. V interaktivním 3D průzkumníku uživatel zvolí pozice a směry kamery a může přidat textový popis scény. NVIDIA doporučuje generovat jednotlivé segmenty po 81 snímcích.
Pohledy podél zvolené trasy vytváří difuzní videomodel založený na WAN-14B. Dokáže přitom generovat také části prostoru, které na původní fotografii nejsou vidět. Následná rekonstrukční síť převádí vzniklé snímky na explicitní 3D geometrii.
Výstupem mohou být 3D Gaussian splaty vhodné pro rychlé vykreslování nových pohledů a interaktivní průzkum. Druhou možností jsou polygonové povrchové sítě, které lze dále upravovat a využít v simulačních nástrojích.
Paměť pro návraty na dřívější místa
Při delších průchodech musí generování navazovat na místa, která už kamera opustila. Lyra k tomu používá průběžně aktualizovanou 3D paměť. Její záznamy obsahují hloubkovou mapu v plném rozlišení, parametry kamery a zmenšené mračno bodů.
Pro novou pozici kamery systém promítne uložená mračna bodů do cílového pohledu a zohlední, které části jsou zakryté. Model pak dostane nejlépe viditelné starší snímky spolu s vazbami mezi původními a novými pohledy.
Další část řešení míří na hromadění chyb mezi segmenty. Při tréninku dostává difuzní transformer záměrně zhoršené verze svých předchozích výstupů a učí se vzniklé artefakty odstraňovat.
Využití v simulacích a limity geometrie
Exportované scény lze použít v NVIDIA Isaac Sim. Gaussian splaty dodávají vizuální podobu prostředí, zatímco z polygonových sítí lze připravit kolizní povrchy. Zamýšleným využitím je mimo jiné tvorba prostředí pro navigaci a trénink robotických řídicích politik.
Skryté místnosti a povrchy ale systém odhaduje, nikoli měří, takže geometrie je přibližná. Vygenerované sítě mohou mít neúplné povrchy nebo topologii vyžadující opravu.
Export sítě také sám nedodá hotové fyzikální vlastnosti. Nastavení kolizí, hmotnosti, materiálů, kloubů a sémantických štítků vyžaduje další práci.
Výpočetní nároky a přístup k systému
Podle NVIDIA zabere na jedné kartě H100 s 80 GB paměti generování videa o 80 snímcích přibližně devět minut a následná 3D rekonstrukce zhruba minutu. Pro rychlejší inferenci je k dispozici destilační adaptér LoRA, který lze načíst vedle základního modelu a který snižuje vzorkování difuze na čtyři kroky.
Lyra 2.0 vychází jako open-source framework pod licencí Apache 2.0 a NVIDIA uvádí, že jej lze používat komerčně. K dispozici jsou váhy a repozitář s interaktivním rozhraním, trénovacím kódem, rekonstrukčním postupem i destilační LoRA. Při produkčním nasazení je třeba zkontrolovat také licence WAN-14B a dalších závislostí.
Systém byl přijat na konferenci SIGGRAPH Asia 2026, kde jej tým NVIDIA plánuje představit.
