Tencent Hunyuan hat Hy-SimulMT veröffentlicht, ein Modell für die Simultanübersetzung von gesprochenem Chinesisch und Englisch. Es verarbeitet Audiodaten während ihres Eintreffens und beginnt mit der Ausgabe des übersetzten Textes, ohne darauf zu warten, dass der Sprecher einen Satz beendet. Neben den Modellgewichten umfasst die Veröffentlichung auch Werkzeuge für die Bereitstellung und das weitere Training.
Ein externer Dienst übernimmt die Sprachausgabe
Das Übersetzungsmodell selbst erzeugt Text. Für die Sprachausgabe leitet der Server diesen Text an einen separat konfigurierten externen Text-zu-Sprache-Dienst weiter, der anstelle von Hy-SimulMT selbst auch das Klonen von Stimmen übernimmt. In einer Demonstration der Übersetzung vom Englischen ins Chinesische zeigte Tencent, wie die übersetzte Sprache die charakteristischen Stimmen von drei Sprechern beibehielt.
Die Streaming-Ausgabe kann Korrekturen enthalten, wenn ein späterer Kontext die Bedeutung verändert. Wang Weiwei, stellvertretender Dekan einer Dolmetscherschule, beschrieb das System als eines, das früh mit dem Sprechen beginnt, um Verzögerungen gering zu halten, und sich anschließend selbst korrigiert.
Sechs Varianten bieten zwei Modi für die Textausgabe
Auf Hugging Face sind sechs Varianten verfügbar, die eine Mixture-of-Experts-Architektur mit insgesamt 30 Milliarden Parametern und etwa 3 Milliarden aktiven Parametern pro Token verwenden. Das Basismodell Hy-SimulMT-30B-A3B erzeugt übersetzten Text, während Hy-SimulMT-30B-A3B-Interleave abwechselnd ein Transkript der Originalsprache und dessen Übersetzung ausgibt.
Beide Ausgabemodi sind mit Gewichten in voller Präzision für vLLM verfügbar. Ihre FP8-Varianten benötigen weniger Speicher und sind für die Bereitstellung auf einer einzelnen GPU vorgesehen.
Für llama.cpp werden quantisierte GGUF-Pakete bereitgestellt, die offizielle Unterstützung wurde jedoch noch nicht in den Hauptzweig des Projekts integriert. Die Verwendung dieser Pakete erfordert daher das derzeitige Integrationsverfahren des Projekts oder einen kompatiblen Build.
Mikrofoneingabe, hochgeladene Dateien und benutzerdefinierte API-Clients
Die Veröffentlichung umfasst SimulInfer, einen Inferenzdienst mit einer Weboberfläche und WebSocket-Kommunikation. Die Oberfläche akzeptiert Mikrofoneingaben und hochgeladene Audiodateien. Entwickler können die API nutzen, um Clients für Streaming-Übersetzungen zu erstellen, und der Dienst bietet eine optionale Text-zu-Sprache-Integration.
SimulTrain stellt Skripte bereit, um das Training von einem bestehenden Modell-Checkpoint aus fortzusetzen. Das veröffentlichte Modell unterstützt ausschließlich Chinesisch und Englisch.
Tencent meldet geringe Latenz, liegt bei CoVoST2 jedoch zurück
Bei Tencents Evaluierung anhand langer RealSI-Aufnahmen verzeichnete Hy-SimulMT gemäß StreamLAAL eine Verzögerung von etwa drei Sekunden. Bei dieser Metrik weisen niedrigere Werte auf eine geringere Verzögerung bei der Streaming-Übersetzung hin. Das Unternehmen berichtet, dass dies die niedrigste Latenz unter den verglichenen Systemen war.
Für dieselben Langzeitaufnahmen meldet Tencent höhere GEMBA-Werte als jedes in den Vergleich einbezogene Open-Source-Modell und vier der fünf kommerziellen APIs. GEMBA vergibt höhere Werte für Übersetzungen von besserer Qualität.
Tencent meldet außerdem die besten Ergebnisse unter den verglichenen Open-Source-Systemen bei FLEURS, ACL6060 und RealSI-Sentence. Bei CoVoST2 liegt Hy-SimulMT den Ergebnissen des Unternehmens zufolge jedoch hinter Qwen3.8-LiveTranslate.
Ein Vergleich mit sechs erfahrenen Dolmetschern
Tencent verglich das Modell außerdem mit sechs erfahrenen Dolmetschern anhand von 18 chinesischen und englischen Aufnahmen, die jeweils etwa sechs Minuten lang waren. Drei Dolmetscher verfügten über eine CATTI-Zertifizierung der Stufe 1, die anderen drei über eine CATTI-Zertifizierung der Stufe 2. Nach Angaben des Unternehmens lieferte Hy-SimulMT bei dieser Evaluierung eine vergleichbare Qualität und reagierte üblicherweise schneller.
