Das Unternehmen aus Freiburg, das die meisten Menschen als Hersteller eines Bildgenerators kennen, hat das Modell FLUX 3 angekündigt. Es kann bis zu zwanzig Sekunden lange Videos mit Ton erzeugen, der im selben Durchlauf wie das Bild entsteht, beherrscht sowohl die Erstellung als auch die Bearbeitung von Fotos, und dieselbe Grundlage treibt eine Software an, die derzeit Roboter an der Produktionslinie von Audi steuert.
Das Modell versteht Physik
Die größte Stärke von FLUX 3 ist Video. Das Modell erstellt einen bis zu zwanzig Sekunden langen Clip und erzeugt gleichzeitig auch den Ton dazu. Das Modell bietet eine breite Palette von Modi: Text-zu-Video, Bild-zu-Video (entweder als erstes Einzelbild der Animation oder nur als visuelle Vorlage), Video-zu-Video, wobei das Modell beispielsweise dieselbe Figur aus einem Referenzclip in eine andere Szene übernimmt, die Fortsetzung von Bild und Ton aus einer Eingangsaufnahme sowie Übergänge zwischen vorgegebenen Einzelbildern.
Darüber hinaus beherrscht es Dialoge in verschiedenen Sprachen, stellt Text und animierte Typografie dar und kommt auch mit ungewöhnlichen Seitenverhältnissen zurecht. Einzelne Clips lassen sich agentenbasiert verknüpfen, sodass daraus mehrere Minuten lange Sequenzen mit mehreren Einstellungen entstehen, während visuelle Vorlagen dabei helfen, dieselbe Figur über verschiedene Szenen hinweg beizubehalten. Den Entwicklern zufolge kommt das Modell am besten mit der Mimik menschlicher Gesichter und der Zuordnung von Ton zu den physischen Vorgängen im Bild zurecht.
Interessanter als die Liste der Funktionen ist die Art und Weise, wie das Modell entstanden ist. Es wurde gleichzeitig mit Bildern, Videos und Ton in einer einzigen Architektur trainiert, wobei die Videovorhersage mehr als 95 Prozent der gesamten Rechenleistung beanspruchte. Um ein Video zu generieren, das nicht seltsam wirkt, muss das Modell Körperkontakt, Bewegung, Gewicht sowie Ursache und Wirkung erlernen. Wenn es dabei einen Fehler macht, fällt das einem Menschen sofort auf. Ton ist dagegen eine leichte Disziplin und macht weniger als ein halbes Prozent aller Token aus. Die Grundlage bildet die Methode Self-Flow, die das Unternehmen bereits zuvor entwickelt hat und die die Generierung von Inhalten mit dem Verständnis dessen verbindet, was darauf zu sehen ist. FLUX 3 ist eine erheblich vergrößerte Version davon, die mit mehreren zehn Millionen Stunden allgemeinem Videomaterial und Hunderttausenden Stunden Material trainiert wurde, das sich darauf konzentriert, wie Menschen und Roboter Gegenstände handhaben.
Wie es im Vergleich zur Konkurrenz abschneidet
Black Forest Labs hat Ergebnisse eines Präferenztests veröffentlicht, bei dem Menschen zehn Sekunden lange, aus Text generierte Clips mit Ton in einer Auflösung von 720p verglichen. Demnach setzte sich FLUX 3 in 93 Prozent der Vergleiche gegen Luma Ray 3.2 und in 77 Prozent gegen Runway Gen-4.5 durch. Gegen Grok Imagine Video erreichte es bis zu 69 Prozent, gegen Kling v3 Pro 60, gegen Happy Horse v1 59 und gegen Version 1.1 schließlich 57 Prozent. Am knappsten war es im Vergleich mit Seedance 2.0 und Gemini Omni Flash, wo es auf 52 Prozent kam.
Das Unternehmen selbst schreibt, dass es sich um vorläufige Zahlen handelt. VentureBeat weist jedoch auf Aspekte hin, die in der Ankündigung vollständig fehlen: die Bewertungsmethodik, die Stichprobengröße, die Anzahl der Bewertenden, die Preisgestaltung, Betriebsgarantien und jeglicher Benchmark des Bildmodells. Ohne diese Angaben lassen sich die unternehmensintern ermittelten Prozentwerte nur schwer überprüfen. Zudem konkurrieren die Anbieter bei der Videogenerierung um Bildqualität, Prompt-Genauigkeit, Figurenkonsistenz und Ton und veröffentlichen im Abstand von wenigen Wochen neue Versionen, sodass eine Rangliste aus einer Woche bereits in der nächsten nicht mehr gelten muss.
Der Bildbereich des Modells wird erst in einigen Wochen für die Öffentlichkeit zugänglich. Das Unternehmen berichtet aus dem bisherigen Trainingsverlauf von deutlichen Fortschritten gegenüber älteren FLUX-Modellen, insbesondere in zwei Bereichen: bei der Verarbeitung komplexer Anweisungen und bei der Darstellung von Text im Bild, auch in anderen Sprachen als Englisch.
FLUX-mimic, ein Ableger für Roboter, der Bewegungen aus dem Modell extrahiert
Black Forest Labs geht davon aus, dass ein Modell, das Videos glaubwürdig vorhersagen kann, eine interne Vorstellung davon entwickelt haben muss, wie die Welt funktioniert. Und wenn diese Vorstellung vorhanden ist, sollten sich daraus auch Informationen darüber extrahieren lassen, wie man in der Welt handelt.
Genau darum geht es beim Modell FLUX-mimic, das gemeinsam mit dem Unternehmen Mimic robotics entwickelt wurde. Auf der Grundlage des Modells FLUX 3 wurde ein schlanker Aktionsdecoder eingesetzt, der Zwischenschichten aus dem Teil übernimmt, der Videos vorhersagt, und sie in Roboterbewegungen übersetzt. Das Unternehmen erprobte auch einen zweiten Ansatz, nämlich die Aktionsvorhersage direkt in FLUX 3 zu integrieren. Die menschliche Bewertung der generierten Clips sank dabei zunächst um bis zu ein Zehntel, nach 3500 Schritten befand sich das Modell jedoch wieder auf seinem ursprünglichen Niveau und sagte zusätzlich Aktionen voraus. In Benchmarks übertrifft der Decoder bisherige Modelle des Typs Vision-Language-Action selbst dann, wenn FLUX 3 selbst überhaupt nicht verändert und lediglich der kleine, darüberliegende Decoder trainiert wird. Ältere, auf diese Weise reduzierte Ansätze scheitern, weil sie die Physik der Welt nicht in sich tragen. Wenn Grundgerüst und Decoder gemeinsam feinabgestimmt werden, erreicht FLUX-mimic nach eigenen Angaben die bislang besten Erfolgsquoten.
Das Ziel ist die allgemeine Handhabung von Gegenständen. Der Roboter soll verstehen, was er sieht, abschätzen, was geschieht, wenn er einen Gegenstand anstößt, und eine neue Aufgabe anhand möglichst weniger Beispiele erlernen. Die Zahl, die für Aufmerksamkeit sorgt, lautet: Bei einigen Aufgaben genügt weniger als eine halbe Stunde an Roboterdaten, während frühere Verfahren dreißig oder mehr Stunden benötigten. „Der schwierigste Teil der Robotik sind die Daten“, sagt Elvis Nava, technischer Leiter von mimic robotics. Jede neue Aufgabe bedeute normalerweise, dass der Roboter stundenlang dasselbe wiederhole, während FLUX-mimic sie innerhalb weniger Minuten erlerne. Erwähnenswert ist auch ein Nebeneffekt: Wenn der Roboter einen Gegenstand nicht greifen kann, versucht er es erneut und schließt die Aufgabe ab, ohne dass ihm jemand dies gezeigt hätte.
Das Modell läuft in der Montagehalle von Audi
Audi gehört zu den am stärksten automatisierten Herstellern der Automobilindustrie, wodurch das Unternehmen genau erkennen kann, wo herkömmliche Automatisierung weiterhin an ihre Grenzen stößt. Aufgaben mit nachgiebigen Teilen und filigraner Handhabung werden vor allem aus wirtschaftlichen Gründen weiterhin manuell ausgeführt: In der Premiumfertigung mit vielen Varianten ist die Umrüstung einer Roboterzelle für jeden einzelnen Fall zu teuer.
Mimic setzte FLUX-mimic beim Einlegen von Bauteilen in unterteilte Paletten, beim Einsetzen von Steuergeräten in passgenaue Vorrichtungen, bei der Montage von Komponenten und bei der Handhabung weicher Materialien wie Dichtungen und Kabel ein, die für konventionelle Automatisierung bislang unerreichbar waren. „Wir haben gesehen, wie diese Roboter komplexe Handhabungsaufgaben mit weichen, nachgiebigen Teilen bewältigten, die mit konventioneller Robotik schlicht unmöglich wären“, sagt Christoph Schneider vom Audi Production Lab.
An der Produktionslinie reicht es allerdings nicht aus, richtig zu reagieren, sondern die Reaktion muss auch rechtzeitig erfolgen.Der Weg von den Sensoreingaben zur internen Repräsentation der Welt dauert auf einer einzigen NVIDIA-RTX-5090-Grafikkarte weniger als 80 Millisekunden. Mimic hat auch den Rest der Verarbeitungskette optimiert, sodass das gesamte autonome Robotersystem nach etwa 101 Millisekunden reagiert, was mit der Reaktionszeit des menschlichen Sehsinns vergleichbar ist.
Verfügbarkeit
FLUX 3 gliedert sich in vier Produktlinien. FLUX 3 Video mit Ton und FLUX 3 Action befinden sich seit vergangener Woche in einem geschlossenen Vorabzugang, für den sich jeder anmelden kann, wobei die Freigabe durch das Unternehmen erfolgt. FLUX 3 Image soll innerhalb weniger Wochen starten, danach soll die allgemeine Verfügbarkeit folgen. Der letzte Bestandteil ist FLUX 3 Dev, also die offenen Gewichte des multimodalen Grundgerüsts. Die Aktionsvorhersage bleibt vorerst ausgewählten Forschungs- und Geschäftspartnern vorbehalten, von denen Mimic robotics der erste ist. Eine öffentliche API gibt es derzeit nicht.
