Tencent Hunyuan zveřejnil Hy-SimulMT, model pro simultánní překlad mluvené čínštiny a angličtiny. Příchozí zvuk zpracovává průběžně a přeložený text vytváří ještě před dokončením věty, takže na celý výrok nemusí čekat. Součástí vydání jsou vedle vah modelu také nástroje pro jeho provoz a další trénování.
Hlasový výstup zajišťuje externí služba
Samotný překladový model vytváří text. Pokud má překlad zaznít nahlas, server předá tento text samostatně nakonfigurované externí službě pro syntézu řeči. Také klonování hlasu tedy patří do této navazující části, nikoli do Hy-SimulMT. Tencent v ukázce překladu z angličtiny do čínštiny předvedl tři mluvčí, jejichž přeložená řeč si zachovala odlišné hlasy.
Průběžný výstup může obsahovat opravy, pokud pozdější kontext změní význam. Wang Weiwei, proděkan tlumočnické školy, popsal, že systém ve snaze udržet nízkou prodlevu začíná mluvit brzy a následně se opravuje.
Šest variant se dvěma režimy textového výstupu
Na Hugging Face je dostupných šest variant s architekturou směsi expertů (mixture-of-experts). Model má celkem 30 miliard parametrů, při zpracování každého tokenu jsou však aktivní přibližně 3 miliardy. Základní Hy-SimulMT-30B-A3B poskytuje přeložený text, zatímco Hy-SimulMT-30B-A3B-Interleave prokládá překlad přepisem původní řeči.
Oba režimy jsou dostupné s vahami v plné přesnosti určenými pro vLLM. Jejich varianty FP8 snižují paměťové nároky a jsou určené pro provoz na jediném grafickém procesoru (GPU).
Kvantizované balíčky GGUF jsou připravené pro llama.cpp, podpora těchto balíčků ale dosud nebyla začleněna do hlavní větve projektu. K použití těchto balíčků je proto nutné dodržet aktuální integrační postup projektu nebo zvolit kompatibilní sestavení.
Mikrofon, nahrané soubory i vlastní klient přes API
Součástí vydání je služba SimulInfer pro provoz překladu s webovým rozhraním a komunikací přes WebSocket. Ve webovém rozhraní lze použít zvuk z mikrofonu nebo nahrát soubor. API umožňuje vývojářům vytvářet vlastní klienty pro streamovaný překlad a služba nabízí také volitelné napojení na syntézu řeči.
K pokračování v trénování z uloženého stavu modelu slouží sada skriptů SimulTrain. Jazykový rozsah zveřejněného modelu je omezený na čínštinu a angličtinu; další jazyky vydaná verze nepodporuje.
Tencent uvádí nízkou prodlevu, na CoVoST2 ale model zaostal
Ve vyhodnocení Tencentu dosáhl Hy-SimulMT na dlouhých nahrávkách RealSI prodlevy přibližně tři sekundy podle metriky StreamLAAL. Nižší hodnota této metriky značí menší prodlevu streamovaného překladu a firma u modelu uvádí nejnižší zpoždění mezi porovnávanými systémy.
Na stejných dlouhých nahrávkách Tencent hlásí také vyšší skóre kvality podle GEMBA než všechny zahrnuté open-source modely a čtyři z pěti komerčních API. Vyšší skóre GEMBA vyjadřuje lepší kvalitu překladu.
Na sadách FLEURS, ACL6060 a RealSI-Sentence získal model podle Tencentu nejlepší výsledky mezi open-source systémy zahrnutými do srovnání. Na CoVoST2 však ve výsledcích firmy zaostal za Qwen3.8-LiveTranslate.
Srovnání se šesti zkušenými tlumočníky
Tencent model porovnal také se šesti zkušenými tlumočníky na 18 čínských a anglických nahrávkách, z nichž každá trvala přibližně šest minut. Tři účastníci měli certifikaci CATTI Level 1 a zbývající tři CATTI Level 2. Podle firmy dosáhl Hy-SimulMT v tomto vyhodnocení srovnatelné kvality a obvykle reagoval rychleji.
