Meta und V-JEPA 2: Eine KI, die die Welt durch Videos versteht

Meta AI hat V-JEPA 2 vorgestellt, einen Fortschritt im Bereich der Weltmodelle für KI-Agenten und Robotik, der einen bedeutenden Schritt hin zu einem besseren Verständnis sowie zur Vorhersage und Planung von Aktionen in komplexen und unbekannten Umgebungen darstellt. Dieses Modell mit 1,2 Milliarden Parametern wird hauptsächlich anhand von Rohvideodaten trainiert und markiert einen grundlegenden Wandel im Bereich der verkörperten KI. V-JEPA 2 baut auf den Grundlagen der Joint Embedding Predictive Architecture (JEPA) auf und bietet Fähigkeiten, die sich der menschlichen Art annähern, die physische Welt anhand visueller Informationen zu verstehen.

Das Modell nutzt einen innovativen zweistufigen Trainingsprozess, der mit einem selbstüberwachten Vortraining anhand von mehr als einer Million Stunden Videomaterial und einer Million Bildern ohne menschliche Kennzeichnungen beginnt. Dieser Ansatz ermöglicht es dem Modell, Muster physischer Interaktionen in der Welt zu erfassen und eine robuste Repräsentation der Realität zu erstellen. Das anschließende aktionskonditionierte Fine-Tuning nutzt einen relativ kleinen Datensatz von etwa 62 Stunden an Robotersteuerungsdaten, wodurch das Modell die Aktionen von Agenten zur Vorhersage von Ergebnissen faktorisieren kann. Diese Kombination aus breit angelegtem Lernen und spezifischer Feinabstimmung schafft ein System, das selbst mit einer begrenzten Anzahl domänenspezifischer Beispiele zu effizienter Planung und Regelung im geschlossenen Regelkreis fähig ist.

Zero-Shot-Planung und -Steuerung

Eine der bemerkenswertesten Eigenschaften von V-JEPA 2 ist die Fähigkeit zur Zero-Shot-Planung und Robotersteuerung. Das bedeutet, dass das Modell ohne umfangreiches erneutes Training auf neue Aufgaben und Umgebungen verallgemeinern kann. Diese Eigenschaft erhöht die Flexibilität und Anpassungsfähigkeit robotischer Systeme erheblich und stellt einen wichtigen Meilenstein im Bereich autonomer Systeme dar. Das Modell kann mit visionsbasierten Zielrepräsentationen und Sequenzen visueller Zwischenziele für komplexere Aufgaben arbeiten, sodass Roboter anspruchsvolle Vorgänge wie „Aufnehmen und Ablegen“ mit minimaler vorheriger Konfiguration ausführen können.

Die Fähigkeit zur Zero-Shot-Generalisierung beruht auf der umfassenden Repräsentation der physischen Welt, die V-JEPA 2 während des Vortrainings entwickelt. Wenn das Modell auf eine neue Aufgabe oder Umgebung trifft, kann es sein vorhandenes Wissen über physikalische Gesetze, Objektinteraktionen und kausale Zusammenhänge nutzen, um effektive Strategien zu entwickeln. Dieser Ansatz stellt eine drastische Veränderung gegenüber traditionellen Methoden dar, die ein umfangreiches Training für jede neue Domäne oder Aufgabe erfordern. V-JEPA 2 ebnet damit den Weg für vielseitigere Robotersysteme, die sich schnell an die wechselnden Anforderungen der realen Welt anpassen können.

Anwendungen in der Robotik und bei assistiven Technologien

Im Bereich der Robotik ermöglicht V-JEPA 2 Robotern die Ausführung komplexer Aufgaben mithilfe visionsbasierter Zielrepräsentationen und Sequenzen visueller Zwischenziele für anspruchsvollere Vorgänge. Das Modell kann detaillierte Pläne für die Manipulation von Objekten, die Navigation im Raum und die Koordination mehrerer Teilaufgaben im Rahmen größerer Abläufe erstellen. Diese Fähigkeit ist besonders wertvoll für industrielle Anwendungen, in denen Roboter mit unterschiedlichen Objekten und sich verändernden Bedingungen in der Produktionsumgebung arbeiten müssen.

Neben der traditionellen Robotik verfügt V-JEPA 2 über erhebliches Potenzial im Bereich assistiver Technologien, wo es tragbare Assistenzsysteme zur sofortigen Umgebungserkennung und Navigationsunterstützung verbessern kann. Diese Anwendungen können insbesondere für Menschen mit Sehbehinderungen oder anderen Einschränkungen von Vorteil sein, da sie ihnen hochentwickelte Hilfsmittel zur Orientierung und Interaktion mit ihrer Umgebung bieten. Das Modell kann komplexe visuelle Szenen analysieren und Nutzern relevante Informationen über ihre Umgebung bereitstellen, Hindernisse identifizieren, Objekte erkennen und sie sicher durch ihre Umgebung navigieren.

Neue Benchmarks zur Bewertung von Weltmodellen

Zusammen mit V-JEPA 2 hat Meta drei neue Benchmarks vorgestellt, die die Forschung zum physikalischen Schlussfolgern und zur Weltmodellierung beschleunigen sollen. Diese Benchmarks wurden speziell entwickelt, um die Fähigkeiten von KI-Modellen beim Lernen und Schlussfolgern über die Welt anhand von Videodaten zu bewerten. Ziel ist es, der Forschungsgemeinschaft standardisierte Werkzeuge zum Vergleich und zur Verbesserung der Fähigkeiten von Weltmodellen beim physikalischen Schlussfolgern bereitzustellen. Die Benchmarks decken verschiedene Aspekte der Weltmodellierung ab, darunter die Vorhersage physischer Interaktionen, das Verständnis kausaler Zusammenhänge und die Fähigkeit zur Generalisierung auf neue Situationen.

Diese Benchmarks sind ein wichtiger Schritt zur systematischen Bewertung der Fortschritte im Bereich der verkörperten KI und liefern objektive Metriken für den Vergleich verschiedener Ansätze. Die Standardisierung der Bewertung ermöglicht es Forschern, die Stärken und Schwächen verschiedener Modelle zu identifizieren und die Forschungsanstrengungen auf Bereiche mit dem größten Verbesserungspotenzial auszurichten. Die Benchmarks erleichtern zudem die Reproduzierbarkeit der Forschung und ermöglichen faire Vergleiche zwischen verschiedenen Laboren und Organisationen.

Offene Wissenschaft und gemeinschaftlicher Ansatz

Meta verfolgt einen Open-Science-Ansatz, indem es V-JEPA 2 und die zugehörigen Benchmarks einer breiteren Gemeinschaft zur Verfügung stellt, um Innovationen und Fortschritte im Bereich der verkörperten KI und der Weltmodellierung zu fördern. Indem Meta der Forschungsgemeinschaft ermöglicht, auf dieser Arbeit aufzubauen, will das Unternehmen Fortschritte hin zu einer fortschrittlichen maschinellen Intelligenz vorantreiben, die ebenso effizient lernt und sich anpasst wie Menschen. Dieser gemeinschaftliche Ansatz spiegelt einen wachsenden Trend in der KI-Forschung wider, bei dem der offene Austausch von Ressourcen und Werkzeugen den kollektiven Fortschritt auf diesem Gebiet beschleunigt.

Die Veröffentlichung von V-JEPA 2 als Open Source ermöglicht es Forschern weltweit, mit dem Modell zu experimentieren, es für spezifische Anwendungen anzupassen und zu seiner weiteren Entwicklung beizutragen. Dieser Ansatz kann dazu führen, dass neue Anwendungen schneller entdeckt und die Leistung des Modells durch verteilte Forschungsanstrengungen verbessert werden. Meta demonstriert damit sein Engagement für die Weiterentwicklung des gesamten KI-Bereichs und nicht nur für die proprietäre Technologieentwicklung, was weitreichende positive Auswirkungen auf das Innovationstempo in der Robotik und bei autonomen Systemen haben kann.