Google hat einen neuen, besseren KI-Videogenerator. Text, Bild, Video oder Ton genügen

Google DeepMind hat ein neues Modell namens Gemini Omni vorgestellt, mit dem sich Videos aus praktisch jedem beliebigen Ausgangsmaterial erstellen lassen. Text, Foto, Audio oder vorhandene Videoaufnahme. All das kann als Ausgangspunkt dienen. Das Ergebnis ist immer ein Video. Das Modell erscheint zunächst als Gemini Omni Flash und ist in der Gemini-App, im Tool Google Flow und auf YouTube Shorts verfügbar. Google setzt es als direkten Nachfolger des Veo-Modells ein, das bisher in der Gemini-App für die Videogenerierung zuständig war.

Bequeme Bearbeitung per Chat mit verschiedenen Eingaben

Was unterscheidet Gemini Omni von früheren Tools? Die Art der Bearbeitung. Sie arbeiten nicht wie in einem klassischen Editor mit Spuren und Ebenen. Sie schreiben einfach, was Sie ändern möchten. Sie möchten einen Geiger in eine andere Umgebung versetzen? Schreiben Sie es. Danach möchten Sie die Geige ausblenden? Schreiben Sie es. Anschließend ändern Sie den Kamerawinkel zu einer Aufnahme über die Schulter. Jede Bearbeitung baut auf der vorherigen auf, die Szene bleibt konsistent und die Figuren behalten ihr Aussehen. Das System merkt sich den Kontext der gesamten Sequenz.

Gemini Omni bewältigt Bearbeitungen in mehreren Schritten und bewahrt dabei die physikalische Logik des Bildes. Flüssigkeiten verhalten sich wie Flüssigkeiten. Eine Murmel rollt so, wie sie rollen würde. Google beschreibt diese Fähigkeiten als intuitives Verständnis von Kräften wie Gravitation, kinetischer Energie oder Fluiddynamik.

Einer der interessantesten Aspekte, die Google bei der Vorstellung des Modells demonstrierte, ist die Kombination verschiedener Eingabetypen in einer einzigen Ausgabe. Nutzer können ein Video mit einer Bewegung, das Foto einer Figur und eine Musikspur hochladen. Gemini Omni setzt daraus ein einziges Video zusammen, in dem die Figur vom Foto Bewegungen passend zum Rhythmus der Musik ausführt und sich stilistisch an der Referenzaufnahme orientiert. Die Eingaben werden nicht mechanisch kombiniert, vielmehr sucht das Modell nach einer erzählerischen Logik.

Der direkte Bezug auf Audio funktioniert bislang nur über Sprachaufnahmen. Weitere Arten von Audioeingaben möchte Google nach und nach verfügbar machen.

Eine weitere interessante Funktion ist die Skizze. Skizzieren Sie einen Fisch, einen Vogel oder einen Löwenzahn auf Papier, fotografieren Sie die Zeichnung, und Gemini Omni erstellt daraus ein realistisches Video. Die in der Zeichnung angedeutete Bewegung dient als Vorlage für die Bewegung in der fertigen Aufnahme. Die Zeichnung selbst erscheint nicht im Video. Ähnlich funktioniert der Austausch von Figuren oder Objekten. Sie laden das Foto einer Figur hoch und sagen dem Modell: „Verwandle mich in diese Figur“. Die resultierende Figur übernimmt Bewegung, Gesichtsausdruck und Dialog aus der ursprünglichen Aufnahme.

Google betont, dass das Modell auf der Wissensbasis von Gemini aufbaut, die Geschichte, Wissenschaft, Mathematik und kulturellen Kontext umfasst. In den Beispielen zeigt sich das etwa in einem Video, das die Proteinfaltung erklärt, oder in einer alphabetischen Serie mit ungewöhnlichen Gegenständen für jeden Buchstaben, alles automatisch mit Musik und Untertiteln synchronisiert. Das Modell generiert also nicht nur Bilder, sondern versteht auch, was es darstellt.

Gemini Omni Flash steht Nutzern ab 18 Jahren mit einem Google-AI-Plus-, Pro- oder Ultra-Abonnement zur Verfügung. Der Dienst funktioniert in allen Sprachen und Märkten, in denen die Gemini-App verfügbar ist. Einige Funktionen, etwa die Bearbeitung von Videos oder Avataren, können in bestimmten Ländern eingeschränkt sein.

Über Gemini erstellte Videos sind mit dem unsichtbaren SynthID-Wasserzeichen gekennzeichnet und enthalten Metadaten gemäß dem C2PA-Standard, mit denen sich die Herkunft der Inhalte überprüfen lässt. Die Überprüfung wird bald direkt im Chrome-Browser und in der Google-Suche verfügbar sein.