Was ist Runway Gen-4.5?
Runway, ein 2018 gegründetes Start-up, hat gerade sein neues Modell Gen-4.5 vorgestellt. Dieses Tool ermöglicht es Nutzern, allein auf Grundlage schriftlicher Beschreibungen hochauflösende Videos zu erstellen. Wenn Sie beispielsweise einen Prompt wie „Die Kamera bewegt sich über einen Küchentisch mit verschiedenen Gegenständen, das Licht ist schwach und fällt durch ein Fenster herein, wodurch Schatten und Lichtflecken entstehen“ eingeben, erstellt das Modell ein Video, in dem sich die Objekte natürlich bewegen und realistische Schatten und Details aufweisen. Gen-4.5 konzentriert sich auf das Verständnis von Physik, menschlichen Bewegungen, Kamerabewegungen sowie Ursache-Wirkungs-Zusammenhängen. Laut der Bewertung in der Video-Arena-Rangliste, die vom Unternehmen Artificial Analysis betrieben wird, erreichte das Modell 1.247 Elo-Punkte und belegte den ersten Platz. Bei dieser Bewertung vergleichen Menschen die Ausgaben der Modelle anonym und stimmen für die besseren ab.
Das Unternehmen Runway hat ein Team von nur 100 Mitarbeitern und konnte dennoch riesige Konzerne übertreffen. Geschäftsführer Cristóbal Valenzuela erklärte, dass dies durch ihre Fokussierung und Sorgfalt möglich geworden sei. Das Modell trägt den Codenamen „David“, in Anlehnung an die biblische Geschichte von David und Goliath, was darauf hinweist, wie ein kleines Unternehmen gegen die Giganten antritt. Runway ist auf KI-Forschung und Weltmodelle spezialisiert, die aus Videos und Daten aus der realen Welt lernen, um die Physik besser nachzuahmen. Zu den Kunden gehören Medienorganisationen, Studios, Marken, Designer, Kreative und Studierende. Der Unternehmenswert erreichte 3,55 Milliarden US-Dollar, was zum aktuellen Wechselkurs etwa 81,65 Milliarden CZK entspricht.
Verbesserungen in Gen-4.5
Gen-4.5 bringt im Vergleich zu früheren Modellen erhebliche Verbesserungen mit sich, etwa gegenüber Gen-1, das vor zwei Jahren als erstes Modell der Öffentlichkeit die Erstellung von Videos aus Text ermöglichte. Nun bewältigt das Modell komplexe Szenen mit vielen Elementen, in denen sich alles natürlich bewegt. Beim Prompt „Wasser fließt aus einem Gartenhahn und füllt einen rostigen Metalleimer, darunter befindet sich ein perfekt gefaltetes weißes Papierboot mit einer kleinen gelben Blume, das Boot schwimmt mit dem Wasserstrom ins Haus und kommt vor einem kaputten Fernseher zum Stehen“ erstellt es beispielsweise ein Video ohne Schnitte, in dem das Wasser realistisch fließt und sich das Boot flüssig bewegt.
Das Modell zeichnet sich durch seine Detailtreue aus: Objekte weisen das richtige Gewicht und den richtigen Impuls auf, Flüssigkeiten fließen natürlich und Oberflächen zeigen feine Details wie einzelne Haarsträhnen oder Materialstrukturen, die während der Bewegung konsistent bleiben. Es bewältigt auch komplexe Kompositionen wie „Ein Eisbär sitzt zusammengekauert in einem transparenten Eisblock, der auf einem kleinen silbernen Anhänger befestigt ist. Die Kamera folgt dem an einem Seil gezogenen Anhänger auf Augenhöhe, schwenkt dann nach rechts und zeigt eine Ziege, die den Anhänger zieht“. Das Video zeigt den Eisbären im Eis, der von einer Ziege gezogen wird, mit natürlichen Bewegungen.
Im Bereich der Physik ahmt das Modell reale Kollisionen und Bewegungen nach. Ein Beispiel ist der Prompt „Eine anthropomorphe Kaktusfigur umarmt eine rote Ballonfigur, woraufhin die Ballonfigur platzt“, bei dem der Ballon während der Umarmung realistisch zerreißt. Ein weiteres Beispiel: „Ein Taucher auf dem Meeresgrund feuert mit einem Maschinengewehr, die Kamera wird aus der Hand geführt, ist unruhig und gelegentlich nicht mittig ausgerichtet“ – hier verhalten sich die Bewegungen unter Wasser natürlich, einschließlich der Blasen und des Impulses.
Bei Figuren erfasst das Modell emotionale Nuancen, natürliche Gesten und Gesichtsdetails. Der Prompt „Eine junge Frau mit glattem blondem Haar und sommersprossiger Haut sitzt still da und blickt mit einem verletzlichen Ausdruck durch ihre Wimpern nach oben“ erzeugt beispielsweise ein Video mit subtiler Mimik. Das Modell bewältigt auch dramatische Szenen wie „Eine brünette Frau mit intensivem und ernstem Gesichtsausdruck nähert sich der Kamera, hebt dann ihre Hand, enthüllt eine Pistole und feuert mehrmals in Richtung der Kamera“.
Verschiedene Stile und Grenzen des Modells
Gen-4.5 verarbeitet eine breite Palette von Stilen. Im fotorealistischen Modus erstellt es Videos, die wie echte Aufnahmen aussehen, beispielsweise „Eine ununterbrochene Unterwasseraufnahme ohne Schnitte, die Kamera bewegt sich unter Wasser durch verschiedene schwebende Objekte vorwärts, das Licht ist schwach und dringt durch die Wasseroberfläche“. Zu den nicht fotorealistischen Stilen gehören Animationen wie „Ein eleganter Fuchs vom Land mit Strohhut und Anzug fährt auf einem Motorrad über einen staubigen Weg durch die Landschaft, in einem hyperdetaillierten, vom Stop-Motion-Kino inspirierten Stil“.
Das Modell bewältigt auch alltägliche Szenen wie „Die Szene zeigt einen Fernseher mit einem gezeichneten Hund aus den 90er-Jahren, eine Hand schaltet ihn aus, die Kamera bewegt sich nach unten und enthüllt das mit Frühstücksflocken in einer Schüssel Milch geschriebene Wort ‚Runway‘, dann wieder nach oben zu einem Kühlschrank, an dem ‚Whisper Thunder‘ mit Magneten geschrieben steht“. Oder filmische Szenen: „Ein Kind auf dem Rücken eines Mandrills neben einer Gruppe von Mandrills, die über eine Ebene laufen, filmischer Stil mit schneller Bewegungsunschärfe, dokumentarischer Handkamera-Stil, niedriger Aufnahmewinkel“.
Dennoch hat das Modell Grenzen: Manchmal treten Wirkungen vor ihrer Ursache auf, beispielsweise öffnet sich eine Tür, bevor die Klinke gedrückt wird; Objekte können unerwartet verschwinden oder auftauchen, beispielsweise verschwindet eine Tasse, nachdem sie verdeckt wurde; und Handlungen sind oft auch bei fehlerhafter Ausführung erfolgreich, etwa ein schlecht gezielter Schuss, der dennoch zum Tor führt. Runway arbeitet an diesen Problemen, insbesondere im Hinblick auf Weltmodelle, die die Folgen von Handlungen präzise nachahmen sollen.
Vergleich mit der Konkurrenz und Verfügbarkeit
Gen-4.5 übertrifft die Modelle von Google (Veo 3 auf dem zweiten Platz) und OpenAI (Sora 2 Pro auf dem siebten Platz). Cristóbal Valenzuela betonte, dass dies ein Erfolg nach sieben Jahren Arbeit sei und dass KI nicht von wenigen Unternehmen monopolisiert werden dürfe. Das Modell wurde auf GPUs von Nvidia entwickelt, darunter die Hopper- und Blackwell-Serien. Die Zusammenarbeit mit Nvidia trug dazu bei, sowohl das Training als auch die Geschwindigkeit zu optimieren. Jensen Huang, Präsident und CEO von Nvidia, erklärte, dass dies eine spannende Zeit für Video- und Weltmodelle sei und Nvidia Runway dabei unterstütze, die Branche zu revolutionieren.
Gen-4.5 wird schrittweise für alle Kunden von Runway zu einem ähnlichen Preis wie die Vorgängermodelle eingeführt. Es wird über die Runway-Plattform, deren API und Partner verfügbar sein. Das Unternehmen plant, Modi wie Bild-zu-Video, Schlüsselbilder oder Video-zu-Video hinzuzufügen. Runway arbeitet mit Partnern aus den Bereichen Handel, Marketing, Rundfunk und Gaming zusammen.
Das Modell behält die Geschwindigkeit und Effizienz von Gen-4 bei, ohne Qualitätseinbußen. Es ist die erste von mehreren großen Veröffentlichungen, die Runway vorbereitet.
