Das Unternehmen Luma hat Ray3.2 vorgestellt, eine deutlich verbesserte Version seines KI-Modells Ray3 zur Videogenerierung. Die Neuerung entstand in Zusammenarbeit mit Kreativen aus der Unterhaltungs-, Werbe- und Spielebranche und richtet sich klar an professionelle Anwender. Die wichtigste Änderung ist die wesentlich bessere Kontrolle über das Ergebnis. Nutzer geben nicht mehr nur eine Textanweisung ein und hoffen darauf, was das Modell ausgibt. Sie können die Szene Bild für Bild steuern. Laut der Plattform Luma dient die Regie als Eingabe und Filmqualität als Ausgabe.
Bis zu 16 Bilder in einer Einstellung
Den größten Fortschritt gegenüber der vorherigen Version stellt das sogenannte Multi-Keyframe-Verfahren dar, also die Steuerung auf Ebene einzelner Bilder. Kreative können bis zu 16 Schlüsselbilder in einem einzigen Clip platzieren und damit festlegen, wie sich die Bewegung entwickelt, was sich ändern und was unverändert bleiben soll. Regisseure und Produktionsteams erhalten so die Kontrolle über das Tempo, dramatische Wendungen und die Kamerabewegung. Das Ergebnis entspricht dann genau dem Storyboard und den Erwartungen des Kunden, was insbesondere Agenturen zu schätzen wissen, die nach detaillierten Vorgaben arbeiten.
Auch die Länge der generierten Einstellungen wurde erhöht. Ray3.2 bewältigt bis zu 20 Sekunden lange Clips in 1080p-Auflösung. So lassen sich zusammenhängende Szenen erstellen und nicht nur kurze Fragmente, auf die viele konkurrierende Tools nach wie vor beschränkt sind.
Die schauspielerische Leistung bleibt bei der Generierung erhalten
Der zweite große Verbesserungsbereich ist die Erhaltung der schauspielerischen Darbietung. Das verbesserte Performance-Tracking erfasst nun auch Körperhaltung und Gesten, während sich die Gesichtsmimik bei bis zu acht Gesichtern gleichzeitig Bild für Bild übertragen lässt. Ein Studio kann somit vorhandenes Material mit einem Schauspieler verwenden und die Umgebung, die Kostüme oder den gesamten visuellen Stil verändern, während die feinen Nuancen der ursprünglichen Darbietung erhalten bleiben.
Damit hängt auch die überarbeitete Funktion Modify Video zusammen. Sie verwandelt bereits aufgenommenes Material: Sie ersetzt eine Wand, die Umgebung oder die Garderobe, behält jedoch die Beleuchtung bei und bewahrt die schauspielerische Darbietung. Auch hier gilt eine Obergrenze von 20 Sekunden bei 1080p.
Direkt für die Postproduktion geeignete Ausgaben
Ray3.2 setzt auf Formate, die in der professionellen Postproduktion tatsächlich verwendet werden. Das Modell generiert HDR-Videos mit 16-Bit-Farbtiefe und kann 16-Bit-EXR-Bilder im Farbraum ACES2065-1 exportieren. Genau diese Formate benötigen Teams, die sich mit visuellen Effekten, Compositing und Farbkorrekturen befassen. Eine generierte Einstellung ist somit nicht länger nur ein "KI-Experiment", sondern wird zu vollwertigem Ausgangsmaterial, das sich ohne Verlust des Dynamikumfangs in etablierte Arbeitsabläufe einfügt.
Die höhere Qualität kostet allerdings extra. Eine HDR-Ausgabe kostet doppelt so viele Credits wie gewöhnliches SDR, die Kombination aus HDR und EXR dreimal so viele.
Eine Einstellung ohne neue Dreharbeiten bearbeiten
Eine interessante Neuerung ist auch das erweiterte Reframe-Tool. Damit lässt sich eine Einstellung nach ihrer Generierung bearbeiten: Das Seitenverhältnis kann für verschiedene Plattformen geändert, das Bild erweitert oder der Hintergrund ausgetauscht werden, wobei die ursprüngliche Beleuchtung der Szene erhalten bleibt. Kundenfeedback führt so zu einer gezielten Anpassung, anstatt die gesamte Szene kostspielig von Grund auf neu zu generieren. Für Agenturen, die Varianten einer Kampagne für unterschiedliche Märkte und Formate erstellen, bedeutet dies eine spürbare Zeit- und Kostenersparnis.
Erstmals auch eine API für Entwickler
Ray3.2 ist zugleich das erste Modell der Ray-Reihe, dessen vollständige Steuerung Luma über eine Programmierschnittstelle zugänglich gemacht hat. Entwickler können die Videogenerierung dadurch direkt in Studiosoftware, interne Produktionstools oder eigene Plattformen integrieren. Luma hat die Schnittstelle so konzipiert, dass sie sich in bestehende Technologielandschaften einfügt, seien es Renderfarmen oder Anwendungen von Drittanbietern.
Im Produktionsumfeld ist das von großer Bedeutung. Teams arbeiten dort üblicherweise mit miteinander verknüpften Softwaretools und nicht mit isolierten Anwendungen. Medienunternehmen können das generative System dadurch direkt in ihrer eigenen Umgebung für Materialverwaltung, Schnitt und Freigabe testen. Zu den Plattformen, die bereits mit der Technologie von Luma arbeiten, gehören unter anderem Adobe, Freepik, Envato und Comfy.
Der Wettbewerb erhöht den Druck auf die Steuerbarkeit
Der Fokus auf präzise Steuerung spiegelt einen breiteren Wandel auf dem Markt für KI-Videos wider. Anbieter versuchen, Film-, Werbe- und Spieleproduktionen zu gewinnen, die neben der Bildqualität vor allem Konsistenz und Bearbeitungsmöglichkeiten verlangen. Tools für diese Kunden werden zunehmend danach beurteilt, wie gut sie sich in etablierte Produktionsabläufe einfügen und wie gut sie mehrere Überarbeitungsrunden bewältigen, ohne dass eine Szene von Grund auf neu aufgebaut werden muss.
Der Wettbewerb bei generativen Videos wird dabei immer intensiver. Während anfangs nur per Texteingabe gesteuerte Systeme für Verbraucher Aufmerksamkeit erregten, stehen die Hersteller heute unter dem Druck zu beweisen, dass ihre Modelle auch den technischen und betrieblichen Anforderungen kommerzieller Produktionen gewachsen sind. Luma reagiert darauf mit einer Kombination aus Schlüsselbildern, der Erhaltung schauspielerischer Leistungen und professionellen Ausgabeformaten. Das Unternehmen selbst erklärt dazu, dass die Zukunft der KI im Film nicht darin bestehe, die Vision der Kreativen zu ersetzen, sondern sie zu ermöglichen. Geschichtenerzähler wussten schon immer, was sie drehen wollten. Jetzt erhalten sie dafür präzise Werkzeuge.
Quelle: lumalabs.ai
