Runway stellt GWM-1 vor: Eine Revolution bei Realitätssimulationen // GWM-1 von Runway: Von Videos zu Robotern und Avataren // Neues Weltmodell GWM-1 macht KI zu einem interaktiven Werkzeug // Runways GWM-1: Simulationen für Spiele, Roboter und Konversationen // GWM-1: Runway expandiert über Hollywood hinaus in die reale Welt
Das Unternehmen Runway, das durch die Erstellung von Videos mithilfe künstlicher Intelligenz bekannt wurde, präsentiert nun etwas Neues. Seine erste Familie von Weltmodellen heißt GWM-1. Dieses Modell basiert auf dem Videomodell Gen-4.5 des Unternehmens und funktioniert, indem es Bild für Bild vorhersagt. Es läuft in Echtzeit und lässt sich interaktiv steuern, etwa durch Kamerabewegungen, Befehle für Roboter oder Ton. Laut Informationen aus der offiziellen Ankündigung von Runway besteht das Ziel darin, Simulationen zu erstellen, die die reale Welt einschließlich ihrer Physik und Interaktionen nachbilden.
GWM-1 ist nicht nur ein einzelnes Modell, sondern umfasst drei Varianten, die jeweils auf einen anderen Bereich zugeschnitten sind. Jede von ihnen wurde zusätzlich mit spezifischen Daten trainiert. Laut Anastasis Germanidis, dem technischen Leiter von Runway, musste zunächst ein hervorragendes Videomodell entwickelt werden, um ein Weltmodell erstellen zu können. Das Unternehmen ist davon überzeugt, dass die direkte Vorhersage von Pixeln der beste Weg zu einer universellen Simulation ist. Bei ausreichender Skalierung und mit den richtigen Daten versteht ein solches Modell, wie die Welt funktioniert.
GWM-1-Varianten: Worlds, Robotics und Avatars
Die erste Variante heißt GWM Worlds. Dieses Modell ermöglicht es, digitale Umgebungen in Echtzeit zu erkunden. Der Nutzer gibt eine Szene als Textbeschreibung oder Bild vor, und das Modell generiert eine Welt mit einem Verständnis für Geometrie, Physik und Beleuchtung. Die Simulation läuft mit 24 Bildern pro Sekunde bei einer Auflösung von 720p. Wenn man sich bewegt, bleibt die Welt konsistent – dreht man sich um, ist das, was sich hinter einem befand, immer noch da. Die Physik lässt sich definieren, etwa ob sich ein Agent mit einem Fahrrad auf dem Boden fortbewegt oder wie eine Drohne fliegt. Laut Runway eignet sich dies für Spiele, in denen Spieler Welten frei erkunden können, ohne dass jedes Detail von Hand gestaltet werden muss, oder für Bildungszwecke, etwa zur Erkundung historischer Orte. Es eignet sich auch zum Training von Agenten, die lernen, sich in der physischen Welt zurechtzufinden.
Eine weitere Variante ist GWM Robotics. Dieses Modell erzeugt synthetische Daten für das Training von Robotern und die Bewertung ihres Verhaltens. Es unterstützt die Generierung von Videos, die durch Aktionen eines Roboters bedingt sind, einschließlich alternativer Szenarien, in denen unterschiedliche Ergebnisse untersucht werden. Runway bietet für dieses Modell ein Python-SDK an, mit dem Videos aus mehreren Perspektiven und lange Sequenzen generiert werden können. Synthetische Daten erweitern bestehende Datensätze um neue Objekte, Aufgabenanweisungen oder Veränderungen der Umgebung, etwa unterschiedliche Wetterbedingungen oder Hindernisse. Das verbessert die Robustheit der trainierten Strategien, ohne dass kostspielige Daten in der realen Welt gesammelt werden müssen. Das Modell prüft außerdem, ob ein Roboter in verschiedenen Situationen gegen Regeln verstößt, was schneller und sicherer ist als Tests mit echten Robotern. Das Unternehmen steht mit mehreren Robotikfirmen über den Einsatz dieses Modells in Kontakt.
Die letzte Variante ist GWM Avatars. Dieses Modell erstellt realistische Avatare, die menschliches Verhalten simulieren. Es generiert natürliche Bewegungen, Gesichtsausdrücke, Augenbewegungen, Lippensynchronität und Gesten sowohl beim Sprechen als auch beim Zuhören. Es funktioniert mit fotorealistischen oder stilisierten Figuren und behält seine Qualität auch bei langen Gesprächen bei. Laut Runway eignet es sich für Unterricht in Echtzeit, etwa in Form personalisierter Lehrkräfte, die mit natürlichen Gesichtsausdrücken auf Fragen reagieren. Weitere Einsatzmöglichkeiten sind der Kundensupport, Trainingssimulationen oder interaktive Spiele. Dieses Modell wird bald in der Webanwendung von Runway und über die API des Unternehmens verfügbar sein.
Runway plant, diese drei Varianten zu einem einzigen Basismodell zusammenzuführen, das verschiedene Domänen und Aktionsräume abdecken soll.
Aktualisierung des Videomodells Gen-4.5
Neben GWM-1 hat Runway auch sein Basismodell Gen-4.5 aktualisiert, das kürzlich die Modelle von Google und OpenAI in der Rangliste Video Arena übertroffen hat. Neu hinzu kommen die native Tonerzeugung und die Generierung langer Sequenzen mit mehreren Einstellungen. Nutzer können nun bis zu eine Minute lange Videos mit konsistenten Figuren, Dialogen, Soundeffekten und Hintergründen erstellen. Das Modell erzeugt realistische Dialoge, Soundeffekte und immersive Hintergründe.
Hinzu kommt die Tonbearbeitung – bestehendes Audio in Videos lässt sich bearbeiten, Dialoge können hinzugefügt oder Geräusche verändert werden. Eine weitere Neuerung ist die Multi-Shot-Bearbeitung, bei der eine Änderung in einer Szene auf das gesamte Video von beliebiger Länge übertragen wird, beispielsweise eine Änderung der Augenfarbe einer Figur oder des Hintergrunds zu einem Dschungel. Diese Funktionen stehen zahlenden Nutzern zur Verfügung und bringen Runway näher an Tools wie Kling heran, das ebenfalls alles in einem Paket anbietet.
Diese Fortschritte sind beeindruckend, insbesondere wenn sich die Aussagen zur Konsistenz bei längeren Sequenzen bestätigen. Runway hat außerdem eine Zusammenarbeit mit CoreWeave angekündigt, um Nvidia-GB300-NVL72-Racks für Training und Inferenz zu nutzen.
Weitere Details
GWM Robotics ist über das SDK verfügbar, und das Unternehmen führt mit Firmen Gespräche über den Einsatz von Robotics und Avatars. GWM Worlds eignet sich für VR und immersive Erlebnisse, bei denen endlose, erkundbare Realitäten erzeugt werden. Laut Ivan Mehta und Rebecca Bellan von TechCrunch ist GWM-1 allgemeiner einsetzbar als Konkurrenzmodelle wie Google Genie-3 und dient dem Training von Agenten in der Robotik oder den Biowissenschaften.
Runway betont, dass Weltmodelle die nächste Grenze des Fortschritts in der künstlichen Intelligenz darstellen, da Sprachmodelle allein für komplexe Probleme wie Robotik oder wissenschaftliche Entdeckungen nicht ausreichen. Simulationen ermöglichen ein beschleunigtes Lernen aus Fehlern, ohne die Risiken der realen Welt. Laut Cristóbal Valenzuela, dem CEO von Runway, ist GWM-1 ein großer Schritt in Richtung einer universellen Simulation. Das Unternehmen bietet ein Formular an, über das ein frühzeitiger Zugang zu diesen Tools beantragt werden kann.
