Meta a její V-JEPA 2: AI, které rozumí světu prostřednictvím videa

Meta AI představila V-JEPA 2, pokrok v oblasti světových modelů pro AI agenty a robotiku, který je významným krok vpřed v porozumění, predikci a plánování akcí v komplexních a neznámých prostředích. Tento model s 1,2 miliardami parametrů je primárně trénován na surových videodatech a představuje zásadní posun v oblasti embodied AI. V-JEPA 2 staví na základech Joint Embedding Predictive Architecture (JEPA) a přináší schopnosti, které se blíží lidskému způsobu chápání fyzického světa prostřednictvím vizuálních informací.

Model využívá inovativní dvoustupňový trénovací proces, který začíná self-supervised pretrénováním na více než milionu hodin video materiálu a milionu obrázků bez lidských označení. Tento přístup umožňuje modelu zachytit vzorce fyzických interakcí ve světě a vytvořit robustní reprezentaci reality. Následné action-conditioned fine-tuning využívá relativně malý dataset približně 62 hodin robotických kontrolních dat, což umožňuje modelu faktorizovat agentské akce pro predikci výsledků. Tato kombinace široce založeného učení s specifickým doladěním vytváří systém schopný efektivního plánování a uzavřené smyčky kontroly i s omezenými domain-specifickými příklady.

Zero-shot plánování a kontrola

Jednou z nejpozoruhodnějších vlastností V-JEPA 2 je schopnost zero-shot plánování a robotické kontroly, což znamená, že model může zobecňovat na nové úkoly a prostředí bez rozsáhlého přetrénování. Tato vlastnost významně zvyšuje flexibilitu a adaptabilitu robotických systémů, což je důležitý okamžik v oblasti autonomních systémů. Model dokáže pracovat s vision-based reprezentacemi cílů a sekvencemi vizuálních podcílů pro komplexnější úkoly, což umožňuje robotům provádět sofistikované operace jako "zvednout a položit" s minimální předchozí konfigurací.

Schopnost zero-shot generalizace vychází z modelu široké reprezentace fyzického světa, kterou si V-JEPA 2 vytváří během pretrénování. Když se model setká s novým úkolem nebo prostředím, dokáže využít své existing znalosti o fyzikálních zákonech, objektových interakcích a kauzálních vztazích k vytvořeni efektivních strategií. Tento přístup představuje dramatickou změnu oproti tradičním metodám, které vyžadují extenzivní trénování pro každou novou doménu nebo úkol. V-JEPA 2 tak otevírá cestu k více versatilním robotickým systémům, které se mohou rychle adaptovat na měnící se požadavky reálného světa.

Aplikace v robotice a asistivních technologiích

V oblasti robotiky umožňuje V-JEPA 2 robotům provádět komplexní úkoly využitím vision-based reprezentací cílů a sequences vizuálních subgoalů pro složitější operace. Model dokáže generovat detailní plány pro manipulaci objektů, navigaci v prostoru a koordinaci více subtasků v rámci větších operací. Tato schopnost je zvlášť cenná v průmyslových aplikacích, kde roboti musí pracovat s variabilními objekty a měnícími se podmínkami výrobního prostředí.

Kromě tradiční robotiky má V-JEPA 2 významný potenciál v oblasti asistivních technologií, kde může posílit wearable asistenty pro okamžité rozpoznávání prostředí a navigační podporu. Tyto aplikace mohou být zvlášť přínosné pro osoby se zrakovým postižením nebo jinými handicapy, poskytující jim sofistikované prostředky pro orientaci a interakci s okolním světem. Model může analyzovat komplexní vizuální scény a poskytovat uživatelům relevantní informace o jejich okolí, identifikovat překážky, rozpoznávat objekty a navigovat bezpečně prostředím.

Nové benchmarky pro hodnocení světových modelů

Společně s V-JEPA 2 představila Meta tři nové benchmarky navržené k akceleraci výzkumu v oblasti fyzického uvažování a světového modelování. Tyto benchmarky jsou specificky navrženy k hodnocení schopností AI modelů učit se a uvažovat o světe používáním video dat. Cílem je poskytnout výzkumné komunitě standardizované nástroje pro porovnání a zlepšování schopností fyzického uvažování světových modelů. Benchmarky pokrývají různé aspekty světového modelování, včetně predikce fyzických interakcí, porozumění kauzálním vztahům a schopnosti generalizace na nové situace.

Tyto benchmarky jsou důležitý krok v systematickém hodnocení pokroku v oblasti embodied AI a poskytují objektívní metriky pro porovnání různých přístupů. Standardizace hodnocení umožní výzkumníkům identifikovat silné a slabé stránky různých modelů a směřovat výzkumné úsilí k oblastem s největším potenciálem pro zlepšení. Benchmarky také facilitují reprodukovatelnost výzkumu a umožňují fair porovnání mezi různými laboratořemi a organizacemi.

Otevřená věda a komunitární přístup

Meta přijala přístup otevřené vědy uvolněním V-JEPA 2 a jeho benchmarků pro širší komunitu s cílem podporovat inovace a pokrok v oblasti embodied AI a světového modelování. Umožněním výzkumné komunitě stavět na této práci Meta usiluje o řízení pokroků směrem k pokročilé strojové inteligenci, která se učí a adaptuje stejně efektivně jako lidé. Tento komunitární přístup reflektuje rostoucí trend v AI výzkumu, kde otevřené sdílení zdrojů a nástrojů akceleruje kolektivní pokrok v oblasti.

Uvolnění V-JEPA 2 do open source umožní výzkumníkům po celém světě experimentovat s modelem, adaptovat ho pro specifické aplikace a přispívat k jeho dalšímu rozvoji. Tento přístup může vést k rychlejšímu objevování nových aplikací a zlepšení výkonu modelu prostřednictvím distribuovaného výzkumného úsilí. Meta tak demonstruje závazek k advancement celé oblasti AI spíše než jen k proprietary technologickému rozvoji, což může mít dalekosáhlé pozitivní dopady na rychlost inovací v robotice a autonomous systems.