Künstliche Intelligenz lernt, Ton und Bild ohne menschliches Zutun zu verknüpfen
Wissenschaftler des MIT und ihre Kollegen haben ein neues maschinelles Lernsystem entwickelt, das selbstständig entdecken kann, wie akustische und visuelle Informationen zusammenhängen. Dies stellt einen Fortschritt im Bereich der künstlichen Intelligenz und des multimodalen Lernens dar. Das Forschungsteam stellte das System CAV-MAE Sync vor, das gegenüber früheren Ansätzen mehrere wesentliche Verbesserungen bietet und bessere Ergebnisse als weitaus komplexere Architekturen erzielt.
Menschen nehmen die Welt multimodal wahr, wobei die auditive und visuelle Wahrnehmung eng miteinander verbunden sind. Genau diese natürliche Fähigkeit inspirierte Wissenschaftler des Massachusetts Institute of Technology (MIT), von IBM Research, der Goethe-Universität Frankfurt und weiterer Institutionen dazu, ein System zu entwickeln, das Ton und Bild in einer digitalen Umgebung effektiver miteinander verknüpfen kann. Ihre im Mai 2025 veröffentlichte Forschung stellt einen Fortschritt im Bereich des unüberwachten Lernens dar, bei dem sich KI-Systeme ohne gekennzeichnete Daten oder menschliche Anweisungen weiterentwickeln. Bisherige Ansätze zum audio-visuellen Lernen verwendeten in der Regel globale akustische Repräsentationen. In der Praxis bedeutete dies beispielsweise, dass 10 Sekunden Ton einem einzigen Videobild zugeordnet wurden. Dieser Ansatz konnte jedoch feinere zeitliche Zusammenhänge zwischen Ton und Bild nicht erfassen. Außerdem hatten diese Methoden mit widersprüchlichen Optimierungszielen zu kämpfen, wenn sie gleichzeitig Rekonstruktion und intermodale Ausrichtung erlernen sollten.
Ein neuer Lernansatz
Das neue System CAV-MAE Sync löst diese Probleme auf originelle Weise, indem es Ton als zeitliche Sequenz verarbeitet, die auf einzelne Videobilder ausgerichtet ist, anstatt globale Repräsentationen zu verwenden. "In unserem neuen Ansatz gehen wir drei zentrale Herausforderungen an", erklärt das Forschungsteam in seiner Veröffentlichung. "Erstens beheben wir den Unterschied in der Granularität zwischen den Modalitäten, indem wir Ton als zeitliche Sequenz behandeln, die auf Videobilder ausgerichtet ist. Zweitens lösen wir die widersprüchlichen Optimierungsziele, indem wir kontrastive und rekonstruktive Aufgaben mithilfe dedizierter globaler Tokens voneinander trennen. Und drittens verbessern wir die räumliche Lokalisierung durch die Einführung lernbarer Registrierungstokens, die die semantische Belastung der Tokens reduzieren, die Bildbereiche repräsentieren."
Die Forscher, darunter Yuan Gong und Andrew Rouditchenko vom MIT, Edson Araujo von der Goethe-Universität Frankfurt und weitere Wissenschaftler, testeten ihr System an mehreren Standarddatensätzen, darunter AudioSet, VGG Sound und ADE20K Sound. Sie bewerteten seine Leistung bei Aufgaben wie Zero-Shot-Retrieval, Klassifikation und Lokalisierung. Die Ergebnisse zeigen, dass CAV-MAE Sync Spitzenleistungen erzielt und komplexere Architekturen übertrifft. Eine der wichtigsten Verbesserungen ist die Art und Weise, wie das System mit der zeitlichen Ausrichtung von Ton und Bild umgeht. Statt eine einzige akustische Repräsentation für das gesamte Video zu verwenden, extrahiert CAV-MAE Sync Audiosegmente, die den einzelnen Videobildern entsprechen. Dadurch wird sichergestellt, dass jedes Audiosegment zeitlich auf das zugehörige Videobild ausgerichtet ist. Dies erhöht die Kohärenz zwischen den Modalitäten und ermöglicht ein präziseres Erlernen der Zusammenhänge.
Ein weiterer bedeutender Beitrag ist die Einführung globaler Tokens für kontrastive Aufgaben. Während herkömmliche Ansätze Tokens von Bildbereichen aggregieren, um globale Repräsentationen zu erstellen, führt CAV-MAE Sync dedizierte globale Tokens speziell für kontrastive Aufgaben ein. Dadurch wird die Informationslast auf den Tokens, die Bildbereiche repräsentieren, reduziert. Diese können sich nun auf die Rekonstruktion konzentrieren, während die globalen Tokens Informationen sowohl während der Kodierungsphasen der einzelnen Modalitäten als auch bei deren gemeinsamer Verarbeitung aggregieren. Die Forscher implementierten außerdem sogenannte Registrierungstokens, die dazu beitragen, dass die Tokens der Bildbereiche auf rekonstruktive Aufgaben fokussiert bleiben, und es den globalen Tokens ermöglichen, sich auf kontrastive Aufgaben zu konzentrieren. Diese Trennung verbessert die Fähigkeit des Modells, semantische Informationen zu erfassen und Lokalisierungen durchzuführen. Registrierungstokens werden den Token-Sequenzen hinzugefügt und in der gemeinsamen Schicht auf dieselbe Weise wie globale Tokens verarbeitet.
Die Ergebnisse der Experimente sind beeindruckend: Bei der Retrieval-Aufgabe erzielte das System eine Genauigkeit von 35,2 % bei der Suche nach den korrekten passenden Tönen zu visuellen Abfragen im AudioSet-Datensatz, was eine deutliche Verbesserung gegenüber früheren Methoden darstellt. Bei Klassifikationsaufgaben erreichte es 30,5 mAP auf AudioSet-20K und eine Genauigkeit von 52,7 % auf VGGSound und übertraf damit erneut vergleichbare Ansätze. "Unsere Arbeit zeigt, dass wir durch eine Verbesserung der zeitlichen Ausrichtung zwischen audio-visuellen Modalitäten und die Trennung widersprüchlicher Optimierungsziele mit einer einfacheren Architektur bessere Ergebnisse erzielen können", schließen die Forscher. Dieser Fortschritt bietet potenzielle Anwendungen in einer Vielzahl von Bereichen – von der Suche auf Grundlage von Ton und Bild über die Klassifikation multimedialer Inhalte bis hin zur Lokalisierung von Schallquellen in visuellen Szenen.
Die Forschung wurde vom deutschen Bundesministerium für Bildung und Forschung sowie vom MIT-IBM Watson AI Lab unterstützt. Die Wissenschaftler stellten außerdem ihren Code auf GitHub zur Verfügung, um weitere Forschung und Entwicklung in diesem Bereich zu ermöglichen.
