Durchbruch in der Sprachkommunikation: KI-Kopfhörer für die Übersetzung mehrerer Sprecher mit Stimmklonung und 3D-Sound
Forscher der University of Washington haben ein neues Kopfhörersystem namens Spatial Speech Translation (räumliche Sprachübersetzung) entwickelt, das die Äußerungen mehrerer Sprecher gleichzeitig in Echtzeit übersetzen, ihre Stimmen klonen und die räumliche Klangrichtung jedes Sprechers beibehalten kann.
Wie ist das gelungen?
Das System verwendet handelsübliche Kopfhörer mit aktiver Geräuschunterdrückung, die mit Mikrofonen zur Erfassung von Gesprächen in der Umgebung ausgestattet sind. Fortschrittliche Algorithmen können verschiedene Sprecher unterscheiden – selbst in lauten Umgebungen – und sie verfolgen, wenn sie sich im Raum bewegen. Die Stimme jedes Sprechers wird isoliert, in die bevorzugte Sprache des Zuhörers übersetzt und anschließend mit einer kurzen Verzögerung, die typischerweise 2–4 Sekunden beträgt, über die Kopfhörer wiedergegeben. Die entscheidende Innovation besteht darin, dass die Übersetzung nicht nur die Information darüber bewahrt, wer spricht, sondern auch, aus welcher Richtung der Ton im Verhältnis zur Position des Zuhörers kommt. So entsteht ein immersives 3D-Klangerlebnis, bei dem jede übersetzte Stimme so klingt, als käme sie aus der ursprünglichen Richtung. "Zum ersten Mal ist es uns gelungen, den Klang der Stimme jeder Person und die Richtung, aus der sie kommt, zu bewahren", sagt Professor Shyam Gollakota von der Paul G. Allen School of Computer Science & Engineering der University of Washington. Diese Technologie klont außerdem die einzigartigen stimmlichen Eigenschaften jedes Menschen, sodass die Übersetzungen den individuellen Ton und die Klangfarbe beibehalten, anstatt generische Roboterstimmen zu verwenden.
Der Prototyp kombiniert handelsübliche Kopfhörer (beispielsweise Sony SH-100XM4) mit binauralen Mikrofonen, die das menschliche Hören nachahmen. Die Audiosignale werden von neuronalen Netzwerken verarbeitet, die auf leistungsfähiger lokaler Hardware wie Apple-M2-Chips laufen – zur Gewährleistung der Privatsphäre ist keine Verbindung zur Cloud erforderlich. Die Algorithmen funktionieren "wie ein Radar": Sie scannen kontinuierlich den Raum in einem Umkreis von 360 Grad, um zu erkennen, wie viele Menschen sprechen, und aktualisieren die Situation, wenn sich die Teilnehmer bewegen oder dem Gespräch beitreten beziehungsweise es verlassen. Die aktuelle Version unterstützt Spanisch, Französisch und Deutsch, doch das Ziel ist, die Unterstützung auf etwa 100 Sprachen auszuweiten. Der Quellcode wurde als Open Source veröffentlicht, um die Weiterentwicklung dieser Technologie durch Fachleute aus der Branche zu ermöglichen. Die Forscher erwarten Einsatzmöglichkeiten in verschiedenen Bereichen – vom Reisen und Tourismus bis hin zu internationalen Geschäftsverhandlungen.
Zu den technischen Innovationen des Systems gehören die Fähigkeit, mehrere Sprecher gleichzeitig zu verarbeiten – im Gegensatz zu früheren Systemen, die auf einen Sprecher beschränkt waren; die Stimmklonung, die die einzigartigen stimmlichen Merkmale jedes Sprechers bewahrt; räumlicher (3D-)Klang, der die Richtungshinweise erhält, sodass Sie die Übersetzungen von den Orten hören, an denen die Menschen tatsächlich stehen; die Echtzeitverarbeitung, die Übersetzungen innerhalb von 2–4 Sekunden liefert; sowie die Verarbeitung direkt auf dem Gerät, die den Datenschutz gewährleistet, da die gesamte Verarbeitung lokal auf Geräten wie Laptops oder Apple-Vision-Pro-Headsets erfolgt.
Diese Technologie stellt einen bedeutenden Fortschritt bei der Überwindung von Sprachbarrieren während Interaktionen in Gruppen dar und macht mehrsprachige Kommunikation natürlicher als je zuvor. Die Forscher der University of Washington eröffnen damit neue Möglichkeiten für interkulturelle Kommunikation und Zusammenarbeit in einer globalisierten Welt.
