NVIDIAs Spatial Intelligence Lab hat Lyra 2.0 veröffentlicht, ein System zur Erstellung erkundbarer 3D-Umgebungen aus einem einzigen Foto. Nutzer legen eine Kameraroute fest, entlang der das System einen Rundgang durch die Szene generiert. Anschließend wandelt es diesen in ein Format für Rendering oder Simulationen um.
Vom Foto zum Rundgang
Als Eingabe dient ein Bild mit einer Auflösung von 480 × 832 Pixeln. In einem interaktiven 3D-Explorer wählen Nutzer Kamerapositionen und Blickrichtungen und können eine Textbeschreibung der Szene ergänzen. NVIDIA empfiehlt, pro Segment 81 Einzelbilder zu generieren.
Die Ansichten entlang der gewählten Route erzeugt ein auf WAN-14B basierendes Video-Diffusionsmodell. Es generiert dabei auch Bereiche, die auf dem ursprünglichen Foto nicht zu sehen sind. Ein nachgeschaltetes Rekonstruktionsnetz wandelt die entstandenen Bilder in explizite 3D-Geometrie um.
Als Ergebnis stehen unter anderem 3D Gaussian Splats zur Verfügung, die sich für das schnelle Rendern neuer Ansichten und die interaktive Erkundung eignen. Alternativ entstehen polygonale Oberflächenmeshes, die sich bearbeiten und in Simulationswerkzeugen verwenden lassen.
Ein Speicher für die Rückkehr zu früheren Orten
Bei längeren Rundgängen muss die Generierung an Orte anknüpfen, die die Kamera bereits verlassen hat. Dafür nutzt Lyra einen laufend aktualisierten 3D-Speicher. Dessen Einträge enthalten eine Tiefenkarte in voller Auflösung, Kameraparameter und eine verkleinerte Punktwolke.
Für eine neue Kameraposition projiziert das System die gespeicherten Punktwolken in die Zielansicht und berücksichtigt dabei verdeckte Bereiche. Das Modell erhält anschließend die am besten sichtbaren älteren Bilder sowie Zuordnungen zwischen den ursprünglichen und den neuen Ansichten.
Ein weiterer Teil des Verfahrens soll verhindern, dass sich Fehler zwischen Segmenten ansammeln. Im Training erhält der Diffusions-Transformer absichtlich verschlechterte Versionen seiner früheren Ausgaben und lernt, die entstandenen Artefakte zu entfernen.
Simulationen und Grenzen der Geometrie
Exportierte Szenen lassen sich in NVIDIA Isaac Sim verwenden. Gaussian Splats liefern das visuelle Erscheinungsbild der Umgebung, während sich aus den polygonalen Meshes Kollisionsflächen vorbereiten lassen. Vorgesehen ist unter anderem die Erstellung von Umgebungen für Navigation und das Training von Steuerungsstrategien für Roboter.
Verborgene Räume und Oberflächen schätzt das System allerdings, statt sie zu vermessen. Die Geometrie ist daher nur näherungsweise korrekt. Generierte Meshes können unvollständige Oberflächen oder eine Topologie aufweisen, die repariert werden muss.
Der Mesh-Export liefert auch keine fertigen physikalischen Eigenschaften. Einstellungen für Kollisionen, Masse, Materialien, Gelenke und semantische Labels erfordern zusätzliche Arbeit.
Rechenaufwand und Zugang zum System
Laut NVIDIA dauert die Generierung eines Videos mit 80 Einzelbildern auf einer einzelnen H100-Karte mit 80 GB Speicher etwa neun Minuten; die anschließende 3D-Rekonstruktion benötigt ungefähr eine Minute. Für eine schnellere Generierung steht ein Destillationsadapter als LoRA zur Verfügung, der sich neben dem Basismodell laden lässt und das Diffusions-Sampling auf vier Schritte reduziert.
Lyra 2.0 erscheint als Open-Source-Framework unter der Lizenz Apache 2.0 und kann laut NVIDIA kommerziell genutzt werden. Verfügbar sind die Modellgewichte und ein Repository mit interaktiver Oberfläche, Trainingscode, Rekonstruktionsverfahren und Destillations-LoRA. Für den produktiven Einsatz müssen auch die Lizenzen von WAN-14B und weiteren Abhängigkeiten geprüft werden.
Das System wurde für die SIGGRAPH Asia 2026 angenommen, wo das NVIDIA-Team es vorstellen will.
