Wan2.1: Open-Source-System zur Generierung von Videos aus Texten und Bildern, auch auf herkömmlichen GPUs verfügbar
Wan2.1 ist ein bedeutender Akteur im Bereich generativer KI-Modelle mit Schwerpunkt auf Video. Dieses von Alibaba entwickelte Open-Source-Projekt bietet eine einzigartige Sammlung fortschrittlicher Basismodelle (Foundation Models) für die Arbeit mit Videos, die bei verschiedenen Aufgaben Spitzenleistungen erzielen. Wan2.1 zeichnet sich nicht nur durch die Qualität der generierten Inhalte aus, sondern vor allem durch seine Zugänglichkeit – im Gegensatz zu vielen konkurrierenden Lösungen wurde es mit Blick auf gewöhnliche Nutzer entwickelt, die über handelsübliche Grafikkarten verfügen. Das Projekt Wan2.1 ist vollständig Open Source und auf GitHub verfügbar, sodass Entwickler und Forscher auf der ganzen Welt zu seiner Weiterentwicklung beitragen oder es an ihre eigenen Bedürfnisse anpassen können. Diese Lösung übertrifft bestehende Open-Source- und kommerzielle Modelle in einer Reihe von Benchmarks und setzt neue Standards im Bereich der Videogenerierung mithilfe künstlicher Intelligenz.
Außergewöhnliche Fähigkeiten und multimodale Funktionen
Wan2.1 ist nicht nur ein einfaches Werkzeug zur Videogenerierung – es handelt sich um ein komplexes multimodales System mit einer Reihe fortschrittlicher Funktionen. Zu den wichtigsten Fähigkeiten gehören die Umwandlung von Text in Video (T2V), die Umwandlung von Bildern in Videos (I2V), die Bearbeitung von Videos, die Generierung von Bildern aus Text und sogar die Konvertierung von Videos in Audio. Diese Vielseitigkeit macht Wan2.1 zu einem universellen Werkzeug für Content-Ersteller aller Art. Das Modell T2V-1.3B, das Teil der Wan2.1-Suite ist, benötigt lediglich 8,19 GB VRAM und ermöglicht die Generierung hochwertiger 5-Sekunden-Videos mit einer Auflösung von 480P auf herkömmlicher Hardware wie einer RTX 4090 in ungefähr vier Minuten – und das ohne den Einsatz von Optimierungstechniken wie Quantisierung. Für anspruchsvollere Aufgaben steht das größere Modell T2V-14B zur Verfügung, das Videos mit einer Auflösung von bis zu 720P generieren kann. Ebenso unterstützen die Modelle zur Umwandlung von Bildern in Videos (I2V) Auflösungen von bis zu 720P, wobei Varianten mit geringerem VRAM-Bedarf auf niedrigere Auflösungen beschränkt sind.
Community-Ökosystem und Verfügbarkeit
Rund um Wan2.1 bildet sich eine aktive Entwickler-Community, die regelmäßig Aktualisierungen, Fehlerberichte und Integrationen in beliebte Frameworks wie Diffusers und ComfyUI beisteuert. Außerdem finden Diskussionen über die Unterstützung mehrerer GPUs statt, und Nutzer tragen Verbesserungen bei, die auf eine bessere Nutzbarkeit auch für Anwender mit begrenzten Hardware-Ressourcen abzielen. Es existieren auch inoffizielle Forks, die für Umgebungen mit geringen Ressourcen optimiert sind. Obwohl das Projekt bislang keine offizielle Binärveröffentlichung auf der Seite GitHub Releases besitzt, ist der gesamte Code über das Haupt-Repository zusammen mit Installationsanweisungen verfügbar. Vortrainierte Modellgewichte sind über Hugging Face oder verknüpfte Quellen zu finden. Das Projekt unterstützt die lokale Ausführung über eine Gradio-Oberfläche oder die Integration in eigene Pipelines mithilfe der Bibliothek Diffusers.
VACE: Das neueste Update für fortschrittliche videogenerative Modelle
Die neueste Entwicklung aus den Alibaba-Laboren ist das Projekt VACE (Video Autoencoder and Content Editing), das die Möglichkeiten der Arbeit mit Videos weiter ausbaut. VACE baut auf den Grundlagen von Wan2.1 auf und bietet fortschrittliche Möglichkeiten zur Bearbeitung von Videoinhalten. Dieses Projekt stellt einen wichtigen Schritt hin zur Schaffung eines umfassenden Ökosystems für die Arbeit mit Videos mithilfe künstlicher Intelligenz dar und spiegelt Alibabas anhaltendes Engagement für die offene Forschung im Bereich generativer Modelle wider. VACE konzentriert sich vor allem auf verbesserte Möglichkeiten zur Bearbeitung von Videoinhalten, ergänzt damit die generativen Fähigkeiten von Wan2.1 und schafft so ein ganzheitliches System für die Arbeit mit Videoinhalten – von der Erstellung bis zur anspruchsvollen Bearbeitung.
Praktische Einsatzmöglichkeiten und Fallstudien
Die Vielseitigkeit von Wan2.1 eröffnet den Weg zu einer breiten Palette praktischer Anwendungen. Content-Ersteller für soziale Medien können ansprechende Videos schnell generieren, ohne den aufwendigen Prozess des Filmens und Bearbeitens. Bildungseinrichtungen können anschauliche Materialien mit Texten in verschiedenen Sprachen erstellen. Tschechisch wird derzeit offiziell noch nicht unterstützt. Marketingteams können Werbevideos mit integriertem zweisprachigem Text produzieren, und Künstler können das System für schnelle Visualisierungen und das Prototyping von Konzepten nutzen. Dank der Möglichkeit, Videos auf herkömmlichen GPUs zu generieren, wird Wan2.1 auch für kleinere Kreative und Organisationen mit begrenztem Budget zu einem zugänglichen Werkzeug, wodurch der Zugang zu fortschrittlichen KI-Technologien für die Erstellung von Videoinhalten erleichtert wird.
Abonnementmöglichkeiten des Dienstes Wan2.1
Obwohl das Projekt Wan2.1 als Open Source auf GitHub verfügbar ist, bietet die offizielle Webplattform wan.video den Nutzern über ein flexibles, auf einem Kreditsystem basierendes Abonnement einen komfortablen Zugang zu dieser Technologie. Dieser Ansatz ermöglicht es Content-Erstellern, fortschrittliche generative Modelle zu nutzen, ohne eine eigene Umgebung installieren und konfigurieren zu müssen. Die Grundlage des Wan2.1-Abonnements bildet ein Kreditsystem, bei dem 10 Credits einer Sekunde generierten Videos entsprechen. Dieses übersichtliche System ermöglicht es den Nutzern, die benötigte Anzahl an Credits je nach Umfang ihrer Projekte einfach zu berechnen. Wan2.1 bietet außerdem mehrere monatliche Abonnementstufen mit unterschiedlichen Credit-Paketen:
- Starter Plan für ungefähr 19,9 USD pro Monat bietet monatlich 1000 Credits. Er umfasst den Zugriff auf alle Wan2.1-Modelle, die Generierung von Videos aus Texten und Bildern, Ausgaben ohne Wasserzeichen, eine kommerzielle Lizenz, Zugriff auf den Videoverlauf und die Unterstützung einer parallelen Aufgabe. Dieser Plan ist ideal für neue Nutzer, die die Plattform zunächst erkunden möchten.
- Pro Plan (am beliebtesten) kostet ungefähr 34,9 USD pro Monat und bietet monatlich 2000 Credits. Er enthält ähnliche Funktionen wie der Starter Plan, ermöglicht jedoch die gleichzeitige Ausführung von zwei parallelen Aufgaben und bietet eine größere Kapazität für die Videogenerierung. Er eignet sich für Nutzer, die monatlich mehr Videos erstellen müssen.
- Enterprise/Large Scale Plan ist für umfangreiche oder unternehmerische Nutzung mit hohen Anforderungen an die Videoproduktion vorgesehen. Er bietet größere Credit-Pakete und die Unterstützung von bis zu fünf parallelen Aufgaben.
- Pay-As-You-Go-Optionen
Für Nutzer, die einmalige Käufe ohne regelmäßige Verpflichtung bevorzugen, bietet Wan2.1 auch die Möglichkeit, Credit-Pakete zu erwerben: einmaliger Kauf von Credit-Paketen im Umfang von 50 bis mehreren tausend Credits (bis zu 2000). Gekaufte Credits verfallen niemals, und Nutzer können genau so viele erwerben, wie sie benötigen. Die Zahlungen werden über das Stripe-System abgesichert.
Wan2.1 stellt einen bedeutenden Fortschritt im Bereich der KI-Videogenerierung dar, der Spitzenleistung mit beispielloser Zugänglichkeit verbindet. Als Open-Source-Projekt mit Unterstützung für herkömmliche GPUs bringt es fortschrittliche generative Fähigkeiten zu alltäglichen Kreativen, die Standardhardware verwenden. Mit einer aktiven Community und der kontinuierlichen Weiterentwicklung, etwa durch das Projekt VACE, hat Wan2.1 das Potenzial, zu einem Grundpfeiler für weitere Innovationen im Bereich der KI-gestützten Videogenerierung und -bearbeitung zu werden, die einer breiten Öffentlichkeit zugänglich sind.
