Meta AI TRIBE: Ein KI-Modell, das das Gehirn beim Ansehen von Videos dekodiert

Stellen Sie sich vor, künstliche Intelligenz könnte allein auf Grundlage von Video, Ton und Text vorhersagen, wie Ihr Gehirn auf einen Film reagiert. Genau das ist dem TRIBE-Modell von Meta AI gelungen, das beim Wettbewerb Algonauts 2025 den ersten Platz belegte. Dieser trimodale Gehirn-Encoder mit 1 Milliarde Parametern, der vom Brain-&-AI-Team von Meta FAIR entwickelt wurde, sagt die Reaktionen des Gehirns auf Video-, Audio- und Textreize voraus – mit deutlichem Vorsprung vor 262 Mitbewerbern.

Was ist TRIBE und wie funktioniert es?

TRIBE, kurz für TRImodal Brain Encoder, ist das erste tiefe neuronale Netzwerk, das darauf trainiert wurde, die Reaktionen des gesamten Gehirns mehrerer Personen auf Videos vorherzusagen. Laut dem Abstract des Dokuments der Autoren um Stéphane d'Ascoli von Meta AI kombiniert das Modell vortrainierte Repräsentationen von Text, Audio und Video aus Modellen wie Llama-3.2-3B, Wav2Vec-Bert-2.0 und VideoJEPA 2 gigantic. Diese Eingaben werden von einem Transformer verarbeitet, der die zeitliche Dynamik berücksichtigt und die BOLD-Signale aus fMRT-Aufnahmen in 1.000 Hirnparzellen gemäß dem Schaefer-Atlas vorhersagt.

Ergebnisse beim Wettbewerb Algonauts 2025

Beim Wettbewerb Algonauts 2025 erreichte TRIBE eine durchschnittliche Punktzahl von 0,2146 und übertraf damit das zweitplatzierte Team mit 0,2096. Anhand von Daten aus dem Courtois-NeuroMod-Datensatz, bei dem vier Probanden die Serie Friends und Filme wie The Bourne Supremacy oder Hidden Figures ansahen, sagte das Modell die Reaktionen mit einer normalisierten Pearson-Korrelation von 0,54 ± 0,1 voraus. Die besten Ergebnisse erzielte es in auditiven und sprachbezogenen Bereichen, wo es sich der durch das Rauschen bedingten Obergrenze näherte. Ablationsstudien zeigten, dass der multimodale Ansatz unimodale Modelle insbesondere in assoziativen kortikalen Regionen wie dem präfrontalen oder parieto-okzipito-temporalen Kortex übertrifft.

Warum ist der multimodale Ansatz entscheidend?

TRIBE integriert die Modalitäten nichtlinear und über mehrere Probanden hinweg und überwindet damit die Einschränkungen früherer Modelle. So werden beispielsweise Text-Embeddings mit einem Kontext von bis zu 1.024 Wörtern, Audiodaten aus 60-sekündigen Abschnitten und Videodaten aus 64 Bildern innerhalb von 4 Sekunden extrahiert. Das Training mit 80 Stunden fMRT-Daten dauerte auf einer GPU 24 Stunden, wobei ein Ensemble aus 1.000 Modellen zur besseren Generalisierung eingesetzt wurde. Das Modell bewährte sich auch bei Out-of-Distribution-Daten wie Pulp Fiction oder Charlie Chaplin und erreichte dabei eine Punktzahl von bis zu 0,2604.

Zukunft und Grenzen

TRIBE ebnet den Weg für ein integratives Kognitionsmodell, weist jedoch Einschränkungen auf: Es arbeitet mit einer groben Parzellierung des Gehirns, ausschließlich mit fMRT-Daten und nur mit vier Probanden. Die Autoren betonen das Potenzial für In-silico-Experimente in den Neurowissenschaften. Der Code ist auf GitHub verfügbar.