Meta stellt revolutionäre Technologie für die natürliche Kommunikation mit Avataren vor

Die Kommunikation zwischen Menschen gleicht einem Tanz, bei dem jede Person fortlaufend anpasst, was sie sagt, wie sie es sagt und wie sie gestikuliert. Die Modellierung der Konversationsdynamik zwischen zwei Personen – auch dyadische Konversationsdynamik genannt – umfasst das Verständnis der multimodalen Zusammenhänge zwischen stimmlichen, verbalen und visuellen sozialen Signalen sowie des zwischenmenschlichen Verhaltens, etwa Zuhören, visuelle Synchronität und Sprecherwechsel.

Vorstellung der Dyadic Motion Models

Meta Fundamental AI Research (FAIR) stellt in Zusammenarbeit mit den Codec Avatars Labs und Core AI eine Familie von Dyadic Motion Models vor, die neue Grenzen der sozialen künstlichen Intelligenz erforschen. Diese Modelle können menschliche oder von Sprachmodellen generierte Gespräche zwischen zwei Personen in vielfältige, ausdrucksstarke Ganzkörpergesten und aktives Zuhörverhalten umwandeln.

Die Modelle verarbeiten Audio- und visuelle Eingaben, um die Details der Konversationsdynamik zu erfassen. Damit bieten sie das Potenzial, natürlichere und interaktivere virtuelle Agenten zu schaffen, die in unterschiedlichen immersiven Umgebungen an menschlichen sozialen Interaktionen teilnehmen können.

Audio-Visual Dyadic Motion Models in Aktion

Audio-Visual (AV) Dyadic Motion Models können Gesichtsausdrücke und Körpergesten gemeinsam erzeugen. Als Eingabe verwenden die Modelle Audioaufnahmen von zwei Personen oder Ausgaben großer Sprachmodelle (LLMs), um eine Verhaltenskomponente zu erzeugen. Stellen Sie sich die Visualisierung eines zuvor aufgezeichneten Podcasts zwischen zwei Sprechern vor, bei der das gesamte Spektrum an Emotionen, Gesten und Bewegungen erzeugt wird, das sich aus ihrem Gespräch ergibt.

AV Dyadic Motion Models erzeugen die Gesten und Gesichtsausdrücke eines bestimmten Sprechers und berücksichtigen dabei die Audioaufnahmen beider Personen. Dadurch können die Modelle Sprechgesten, Zuhörgesten und Signale für den Sprecherwechsel visualisieren. Die Modelle gehen noch einen Schritt weiter, indem sie auch die visuellen Eingaben der anderen Person berücksichtigen. So können sie visuelle Synchronisationssignale erlernen, etwa das Spiegeln eines Lächelns oder die gemeinsame Blickaufmerksamkeit.

Seamless Interaction Dataset – ein beispielloser Datenumfang

Das Seamless Interaction Dataset ist der größte bekannte Videodatensatz persönlicher Konversationsinteraktionen zwischen zwei Personen und von entscheidender Bedeutung, um zu verstehen und zu modellieren, wie Menschen miteinander kommunizieren und sich verhalten, wenn sie zusammen sind. Der Datensatz umfasst:

• Mehr als 4.000 Stunden audiovisuelles Verhaltensmaterial mit über 4.000 Teilnehmern
• Rund 1.300 Gesprächs- und Aktivitätsvorgaben mit naturalistischen und improvisierten Inhalten
• Eine umfassende Kontextualisierung mit Metadaten zu den Beziehungen und Persönlichkeiten der Teilnehmer sowie fast 5.000 Videoannotationen

Alle Gespräche wurden mit Teilnehmern am selben Ort aufgezeichnet, um die grundlegenden Merkmale verkörperter Interaktion zu bewahren und die Nachteile videobasierter Fernkommunikation zu vermeiden. Ein Drittel dieser Aufzeichnungen zeigt Interaktionen zwischen zwei Personen, die einander kennen, beispielsweise Familienmitglieder, Freunde oder Kollegen.

Einsatz professioneller Schauspieler für emotionale Vielfalt

Es war wichtig, dass der Datensatz ein breites Spektrum menschlicher Emotionen und Haltungen erfasst, etwa Überraschung, Ablehnung, Entschlossenheit und Bedauern – mit anderen Worten, die Vielfalt des menschlichen Verhaltens im direkten Gegenüber. Solche Interaktionen lassen sich in naturalistischen Daten nur schwer erfassen. Daher engagierte das Team professionelle Schauspieler mit Improvisationserfahrung, um verschiedene Rollen und Emotionen darzustellen. Diese Gespräche machen etwa ein Drittel des Datensatzes aus.

Erweiterte Funktionen der Modelle

Die Modelle wurden so konzipiert, dass sie Zwischencodes für Gesichts- und Körperbewegungen ausgeben, wodurch sich vielfältige Anwendungsmöglichkeiten eröffnen. Dieser Ansatz ermöglicht es, die Modelle für unterschiedliche Kontexte anzupassen, darunter die Erzeugung von 2D-Videos und die Animation von 3D Codec Avatars, die in immersiven VR- und AR-Erlebnissen eingesetzt werden können.

Darüber hinaus entwickelten die Forscher diese Modelle durch die Integration zusätzlicher Steuerungsparameter weiter, was eine höhere Flexibilität und mehr Kontrolle über das Verhalten der Modelle ermöglicht. Dies kann besonders nützlich sein, wenn Benutzer oder Designer die Ausdrucksstärke eines Avatars beim Sprechen oder Zuhören anpassen möchten.

Sicherheitsmaßnahmen und Datenschutz

Meta räumt Datenschutz, Ethik und Qualität bei der Erhebung und Verarbeitung von Daten für seine Forschung höchste Priorität ein. Bei der Erstellung des Datensatzes stimmten die Teilnehmer der Erfassung ihrer aufgezeichneten Gespräche zu und wurden darauf hingewiesen, keine personenbezogenen Informationen preiszugeben.

Es wurde ein mehrstufiger Qualitätssicherungsprozess implementiert:

• Menschliche Überprüfung: Menschliche Prüfer bewerteten die Videoinhalte auf Anzeichen sensiblen Materials
• Analyse von Texttranskripten mithilfe von LLMs: Schriftliche Transkripte wurden analysiert, um sensibles Material zu erkennen
• Videoanalyse mithilfe von Video-Language-Modellen: Video-Language-Modelle wurden eingesetzt, um sensibles Material zu erkennen

Wasserzeichentechnologie zur Authentifizierung

Meta verwendet AudioSeal und VideoSeal, um Inhalte, die mit seinen audiovisuellen Verhaltensmodellen erzeugt wurden, mit Wasserzeichen zu versehen. Diese Modelle ermöglichen es, geheime Nachrichten in einzelne Frames des ursprünglichen Inhalts einzubetten, die anschließend von Detektoren extrahiert werden können. Dadurch lassen sich die Authentizität und Herkunft der Inhalte auch nach einer Verarbeitung oder Manipulation überprüfen.

Die Zukunft sozialer Technologien

Die Forschungsmodelle haben das Potenzial, zukünftige soziale Technologien zu verändern, die unseren Alltag verbessern, uns unterhalten und uns einander näherbringen. Durch die Priorisierung verantwortungsvoller KI-Praktiken hofft Meta, weiterhin Vertrauen in seine Modelle aufzubauen und Technologien zu entwickeln, von denen alle profitieren.

Der Datensatz und der technische Bericht, die das Team veröffentlicht, können als Leitfaden für die künftige Forschung zur audiovisuellen Verhaltensmodellierung von Interaktionen dienen. Die auf diesem Datensatz basierenden Modellierungsfähigkeiten werden dazu beitragen, soziale virtuelle Agenten, Telepräsenztechnologien in VR- und AR-Umgebungen sowie die multimodale Analyse von Videoinhalten zu transformieren.