KI-Modelle, die ein Spiel für bis zu vier Spieler in Echtzeit samt Ton simulieren können

Es wäre leicht, ein Startup namens Odyssey mit Sitz in Palo Alto zu übersehen. Doch dahinter stehen zwei Menschen mit sehr konkreten Lebensläufen. Oliver Cameron, CEO und Mitgründer, leitete zuvor die Produktentwicklung bei Cruise, einem der größten Unternehmen für autonome Fahrzeuge. Sein Partner Jeff Hawke, CTO, verbrachte 15 Jahre mit der Entwicklung von KI für autonomes Fahren bei Wayve und promovierte in Oxford.

Im Jahr 2023 verließen beide die Automobilindustrie mit dem Ziel, ein Unternehmen zu gründen, das sich auf allgemeine Weltmodelle konzentriert. Also auf kausale, multimodale Systeme, die lernen, die Welt vorherzusagen und in Echtzeit mit ihr zu interagieren. Odyssey setzte sich zum Ziel, eine KI zu entwickeln, die nicht nur Videos generiert, sondern direkt simuliert, wie sich die Welt verhält.

Das Team zog Fachleute von DeepMind, Tesla, Waymo, Meta und Wayve an. Einige von ihnen waren übrigens an Modellen wie DeepMind Gemini, DeepMind Veo oder den autonomen Systemen von Tesla FSD beteiligt. Seit seiner Gründung hat das Unternehmen mehr als 610.000 Simulationen für Nutzer in 184 Ländern weltweit durchgeführt.

Vom Hollywood-Film zur Simulation der Realität

Odyssey begann nicht dort, wo es heute steht. Die ursprüngliche Vision war eine andere. Das Unternehmen wollte Werkzeuge für professionelle Filmemacher entwickeln, eine KI auf „Hollywood-Niveau“, die es Animatoren ermöglichen sollte, mit einem viel kleineren Team und zu einem Bruchteil der Kosten das zu bewältigen, wofür heute Hunderte Menschen und Hunderte Millionen Dollar nötig sind. Oliver Cameron sagte damals, dass fünf Menschen einen Film wie Avatar in sechs Monaten realisieren könnten.

Dann änderte sich jedoch die Vision. Odyssey beschäftigte sich nicht mehr nur mit Filmwerkzeugen, sondern begann an einem allgemeineren Problem zu arbeiten: einem Modell beizubringen, die Welt tatsächlich zu simulieren. Es sollte nicht nur einen kurzen Videoclip generieren, sondern kontinuierlich vorhersagen, was als Nächstes geschieht, auf Nutzereingaben reagieren und eine konsistente physikalische Realität aufrechterhalten. Das Ergebnis sind die Weltmodelle Odyssey-1, Odyssey-2 und nun zwei neue Ergänzungen: Agora-1 und Starchild-1.

Agora-1

Warum ausgerechnet GoldenEye? Dieser Shooter aus dem Jahr 1997 für Nintendo 64 ist ein alter Klassiker, mit dem viele Menschen bei Odyssey aufgewachsen sind. Aber das ist nicht der einzige Grund. Spiele dienen in der KI-Forschung seit Langem als Testumgebungen, von Atari über Minecraft bis hin zu StarCraft. GoldenEye war lediglich der nächste logische Schritt.

Agora-1 ist das erste Weltmodell, das es bis zu vier Teilnehmern ermöglicht, gleichzeitig eine simulierte Realität zu teilen. Bisher waren Weltmodelle auf einen einzigen aktiven Teilnehmer beschränkt. Bis zu vier Personen treffen in einer gemeinsamen Deathmatch-Simulation aufeinander, in der jeder die von der KI in Echtzeit generierte Welt sieht. Das Modell funktioniert wie eine erlernte Spiele-Engine. Es verwendet keinen traditionellen Code für Physik oder Grafik, sondern hat stattdessen die gesamte Spieldynamik direkt aus dem internen Zustand von GoldenEye erlernt.

Wie wurde dieser Fortschritt erreicht? Odyssey trennte zwei Dinge voneinander: Simulation und Rendering. Ein Modell berechnet kontinuierlich den gemeinsamen Zustand der Welt, also was wo geschieht, wie sich die Figuren bewegen und was sich verändert. Ein zweites, diffusionsbasiertes Modell wandelt diesen Zustand in visuelle Darstellungen um, und zwar für jeden Spieler separat aus dessen eigener Perspektive. Da der Zustand der Welt explizit verwaltet wird, kann Agora-1 auch völlig neue Level generieren, ohne die Mechaniken des ursprünglichen Spiels zu verlieren.

Frühere Versuche mit Multi-Agenten-Ansätzen wie Multiverse oder Solaris stießen vor allem dann an ihre Grenzen, wenn die Spieler den gegenseitigen Sichtkontakt verloren. Agora-1 verfolgt das Ziel, dieselbe Welt gleichzeitig aus mehreren unabhängigen Perspektiven konsistent darzustellen. Die Demo kann direkt auf der Website von Odyssey ausprobiert werden und dient als frühe Forschungsvorschau. Das Ziel besteht jedoch nicht darin, Spiele zu entwickeln. Cameron und Hawke sehen die Zukunft in anderen Bereichen: im Training von KI-Agenten in vollständig simulierten Umgebungen und in der kollaborativen Robotik, bei der mehrere Roboter gemeinsam über Räume und Handlungen nachdenken müssen.

Starchild-1: Das Weltmodell, das hört und spricht

Parallel zu Agora-1 stellte Odyssey auch ein zweites Modell vor. Starchild-1 ist das erste multimodale Echtzeit-Weltmodell und stellt eine andere Art von Durchbruch dar.

Traditionelle Weltmodelle lernten ausschließlich aus visuellen Daten. Starchild-1 generiert autoregressiv synchronisierte Video- und Audioinhalte und reagiert gleichzeitig kontinuierlich auf Texteingaben des Nutzers. Einfach ausgedrückt: Das Modell sieht die Welt nicht nur, sondern hört sie auch, und der Nutzer kann sie während der Simulation durch geschriebenen Text oder Sprache verändern.

Traditionelle Audio-Video-Modelle wie DeepMind Veo generieren Clips vorab, offline und mit einer festgelegten Länge. Sobald die Generierung beginnt, ist der weitere Verlauf der Ausgabe festgelegt. Starchild-1 arbeitet anders: Es sagt jedes Videobild und jeden Audioabschnitt auf Grundlage dessen voraus, was zuvor geschehen ist und was der Nutzer gerade eingegeben hat. Der Verlauf verändert sich kontinuierlich.

Technisch gesehen erforderte dies völlig neue Ansätze für die synchronisierte Audio-Video-Ausgabe und die Stabilität über lange Zeithorizonte. Starchild-1 läuft auf moderner Hardware mit bis zu 24 Bildern pro Sekunde. Im Gegensatz zu Agora-1 konzentriert es sich auf einen einzelnen Nutzer, ergänzt jedoch eine Ebene aus Klang und gesprochener Sprache, über die bislang kein Echtzeit-Weltmodell verfügte.

Eine öffentliche Demo ist bislang nicht verfügbar. Odyssey hat lediglich Videozusammenschnitte und einen technischen Bericht veröffentlicht. Doch schon die Beschreibung ist aussagekräftig genug: ein System, das die Welt nicht nur simuliert, sondern sie zugleich vertont und auf das reagiert, was man ihm sagt.