Neues Atlas-Modell trainiert Roboter und erstellt Effektaufnahmen in 1440p

Das von der Stanford-Professorin Fei-Fei Li geleitete Unternehmen World Labs hat sein neues Weltmodell Atlas vorgestellt. Es kann aus Texten, Bildern und Videos eine fotorealistische dreidimensionale Umgebung erstellen, in der der Nutzer selbst bestimmt, aus welcher Perspektive er die Szene betrachtet. Das Unternehmen bezeichnet das Modell als Omni-Modell, weil es gleichzeitig mit all diesen Arten von Eingaben arbeitet, also mit Texten, Bildern, Videos und 3D-Daten. Die Idee besteht darin, dass das Modell alle Eingaben in einem gemeinsamen räumlichen Kontext speichert. Jedes Bild hat in diesem Kontext seinen eigenen Platz im Raum und nicht nur eine Position in einer Datenwarteschlange. Atlas berechnet anschließend, was folgt, und stellt sicher, dass es mit allem übereinstimmt, was es bereits gesehen hat. Den Rest der Szene, der in der Eingabe fehlt, ergänzt es selbst.

Pixelgenaue Kamerasteuerung

Die erste Gruppe von Aufgaben, die das Modell bewältigt, betrifft die Bilderzeugung mit einer präzise vorgegebenen Kamera. Atlas erhält ein bis sechs Referenzbilder und dazu eine Beschreibung der Kamerabewegung, wobei es die Kamerageometrie als vollwertige Eingabe und nicht als textliche Anweisung wie „nach links drehen“ behandelt. Die Ausgabe kann ein bis zu einer Minute langes Video in 1440p-Auflösung sein.

World Labs demonstriert dies anhand eines Beispiels, bei dem das Unternehmen dem Modell nur ein einziges Foto übergab. Atlas erstellte daraus eine vollständige Szene samt Objekten, die auf dem Bild überhaupt nicht zu sehen sind. Es ergänzte die abgewandte Seite des Roboters und fügte neben dem Pool einen Grasstreifen hinzu, weil es aufgrund seines Weltwissens davon ausgeht, dass ein solches Element dorthin gehört.

Der räumliche Kontext ermöglicht auch einen Trick, der anderswo nicht funktioniert. Zwei nicht zusammenhängende Bilder lassen sich in den Kontext einfügen und räumlich voneinander entfernt platzieren, woraufhin das Modell einen fließenden Übergang zwischen ihnen erzeugt. Es erfindet selbst eine Tür, einen Flur oder eine Nische, durch die man von einer Szene in die andere gelangt.

Rekonstruktion realer Orte aus wenigen Fotos

Der zweite Bereich ist die Rekonstruktion realer Räume. Dabei handelt es sich um ein seit Langem bestehendes Problem des maschinellen Sehens: Wie lässt sich die Ansicht aus einer neuen Position berechnen, wenn nur wenige Aufnahmen zur Verfügung stehen? Nach Angaben des Unternehmens benötigt Atlas weder spezielle Technik noch Hunderte dicht aufgenommene Bilder.

Interessant ist, wie sich bei ihm Originaltreue und Fantasie ausbalancieren lassen. Je mehr Bilder das Modell erhält, desto weniger erfindet es hinzu. Originalgetreue Rekonstruktionen gelingen bereits aus zwei oder drei Fotos, und in Tests übertraf es damit sogar Modelle, die ausschließlich für 3D-Rekonstruktionen trainiert wurden. Zugleich kann es mit mehr als hundert Eingabebildern umgehen, wenn eine möglichst genaue Kopie eines bestimmten Ortes erstellt werden soll.

Die Ergebnisse müssen nicht auf Bilder und Videos beschränkt bleiben. Atlas arbeitet gleichzeitig mit Bildaufnahmen und Tiefenkarten und kann daher auch echte dreidimensionale Ausgaben erzeugen, also Punkte im Raum oder sogenannte Gaußsche Splats. Diese lassen sich direkt auf dem Gerät in hoher Auflösung und mit flüssiger Bildrate rendern. Dieselbe Repräsentation wird im Tool Marble verwendet, das World Labs öffentlich anbietet und dessen künftige Versionen auf Atlas aufbauen sollen.

Robotertraining mit Smartphone-Videos

Die Robotik ist ein Bereich, auf den World Labs abzielt. Für Roboter reicht es nämlich nicht aus, einen Raum lediglich zu rekonstruieren. Wenn sich ein simulierter Roboter durch den Raum bewegt, berechnet Atlas gleichzeitig das Bild und die Tiefe, die seine Sensoren zu jedem Zeitpunkt wahrnehmen würden. Die Welt und die Sicht des Roboters auf diese Welt entstehen innerhalb eines einzigen Modells.

Das Unternehmen nahm zwei große Räume mit Smartphone-Videos auf und verwendete für die Rekonstruktion jedes Raums 24 Einzelbilder. Das Scannen ähnlicher Orte erfordert normalerweise teure und komplizierte Ausrüstung. Anschließend simulierte es in den so erstellten Räumen die Bewegung verschiedener Robotertypen auf unterschiedlichen Routen.

Am effektivsten ist das Modell bei der Manipulation von Gegenständen. Aus einigen informellen Aufnahmen hilft es dabei, eine Simulation zu erstellen, die auch erfasst, wie sich Objekte bewegen und miteinander interagieren, einschließlich fester, gelenkiger und verformbarer Gegenstände. Eine einmal simulierte Aufgabe lässt sich anschließend leicht variieren, da die Gegenstände, ihre Positionen, die Bewegung des Roboters, die Beleuchtung und der Hintergrund ausgetauscht werden können. So entsteht eine große Menge vielfältiger Trainings- und Testdaten.

Wie Atlas funktioniert

Technisch handelt es sich um einen multimodalen autoregressiven Diffusions-Transformer. Jede dieser Eigenschaften erfüllt eine bestimmte Aufgabe. Multimodalität bedeutet, dass das Modell Texte, Bilder, Kamerapositionen und Tiefenkarten verarbeitet, wobei es Videos als Bildsequenzen behandelt. Der autoregressive Teil sorgt dafür, dass die Ausgaben schrittweise entstehen und jede davon den vorherigen Kontext berücksichtigt, sodass sich dieselbe Architektur für viele verschiedene Aufgaben eignet. Die Diffusionskomponente befreit die Ausgabe schrittweise von Rauschen und ermöglicht es, Geschwindigkeit gegen Qualität abzuwägen, je nachdem, wie viele Bereinigungsschritte der Entwickler wählt. Der Transformer wiederum bildet die Grundlage der gesamten Konstruktion, die aktuelle Hardware effizient nutzt.

World Labs betont, Verfahren aus großen Sprachmodellen und Videomodellen miteinander kombiniert zu haben. Dank des autoregressiven Transformers kann Atlas von Techniken zur Beschleunigung von Sprachmodellen profitieren, etwa der Zwischenspeicherung von Teilergebnissen oder der Verteilung der Berechnung auf mehrere Rechner. Als Diffusionsmodell im latenten Raum nutzt es zugleich Verbesserungen, die aus der Bild- und Videogenerierung bekannt sind.

Tests im Vergleich zur Konkurrenz

Nach Angaben des Unternehmens kann kein einzelner Test ein Modell erfassen, das so viele verschiedene Aufgaben bewältigt. Daher wählte es zwei Bereiche aus.

Bei der Generierung mit vorgegebener Kamera erhielten die Modelle ein Eingabefoto und ein bis drei filmische Kamerabewegungen, also einen Schwenk, eine Kamerafahrt oder eine Kranfahrt. Atlas erhielt die Kameraroute in seinem eigenen Format, während sie den anderen Modellen in Worten beschrieben wurde, da sie keine andere Eingabe unterstützen. Anschließend wählten Testpersonen aus, welche Ausgabe der vorgegebenen Bewegung besser entsprach. Atlas gewann alle Vergleiche, mit einem Stimmenanteil von drei Vierteln gegenüber MiniMax H3 bis hin zu mehr als 90 Prozent gegenüber den Modellen FLUX 3 und Seedance 2.5. Laut World Labs wächst der Unterschied mit zunehmender Komplexität der Kamerabewegung.

Der zweite Test betraf die 3D-Rekonstruktion aus einer kleinen Anzahl von Ansichten. Das Modell erhielt eine Reihe von Bildern mit Kamerapositionen und sollte jedem Pixel den entsprechenden Punkt im Raum zuordnen. Atlas erzielte den niedrigsten durchschnittlichen Fehler und lag damit vor fünf aktuellen spezialisierten Modellen, darunter Pi3X, VGGT-Ω 1B, Depth Anything 3 und MapAnything. World Labs gibt an, die Ergebnisse aller verglichenen Methoden selbst neu berechnet zu haben, damit sie alle unter denselben Bedingungen ausgeführt wurden.

Quelle: theinformation.com