Nvidia vydala NemotronLabs RE-USE, otevřený vícejazyčný model pro čištění řečových nahrávek. Má odstraňovat šum, dozvuk a další vady při zachování srozumitelnosti i identity mluvčího. Jediný checkpoint, tedy jedna sada vah modelu, přitom přijímá nahrávky se sedmi vzorkovacími frekvencemi.
Jeden checkpoint pro různé nahrávky
RE-USE je určený k čištění řeči poškozené například šumem, dozvukem, ořezáním signálu či artefakty kodeku. Pracuje také s vadami spojenými se ztrátou paketů nebo zkreslením mikrofonu. Podporuje frekvence 8, 16, 22,05, 24, 32, 44,1 a 48 kHz, aniž by pro každou z nich potřeboval samostatný checkpoint.
Při překrývání hlasů má trénink za cíl zachovat hlavního mluvčího a potlačit ostatní. K zachování nebo identifikaci všech mluvčích jsou potřeba samostatné nástroje pro oddělení hlasů či určení, kdo kdy mluví. Pro aplikace, které potřebují lépe zachovat smích, Nvidia poskytuje příbuzný checkpoint NemotronLabs RE-USE-laughter.
Srovnání s většími modely
Model má 9,6 milionu parametrů a jeho váhy ve formátu FP32 zabírají před zabalením přibližně 38,4 MB. Nvidia jej na nezaslepené testovací sadě URGENT 2025 porovnala mimo jiné se Sidonem s 250 miliony parametrů a UniPASE s 500 miliony parametrů.
V metrice PESQ, která odhaduje vnímanou kvalitu řeči, dosáhl RE-USE podle Nvidie hodnoty 2,57. UniPASE získal 2,17 a Sidon 1,73. U metriky STOI, jež odhaduje srozumitelnost, byly výsledky ve stejném pořadí 0,78, 0,76 a 0,62.
Ve stejné sadě Nvidia uvádí pro RE-USE podobnost hlasu mluvčího 0,86 a znakovou přesnost rozpoznávání řeči 89,17 %. UniPASE dosáhl hodnot 0,81 a 87,28 %, Sidon pak 0,74 a 84,68 %. RE-USE ale nevede ve všech ukazatelích: v publikovaných výsledcích má Sidon vyšší skóre u některých prediktorů vnímané kvality UTMOS a DNSMOS.
Další publikované výsledky pro 16 kHz ukazují nárůst znakové přesnosti rozpoznávání ze 76,5 % u zašuměného vstupu na 87,1 % po vyčištění. Na podmnožině 44,1 kHz dosáhl RE-USE podobnosti mluvčího 0,90, zatímco Resemble Enhance 0,57.
Architektura Mamba a trénovací data
Uvnitř modelu je třicetivrstvé obousměrné jádro Mamba, umístěné mezi konvoluční enkodér a dekodér. Enkodér převádí zvuk do vnitřní reprezentace modelu a dekodér jej převádí zpět. Výpočetní náročnost modelování posloupnosti u Mamby roste lineárně s její délkou.
Nvidia trénovala model přibližně na 2 500 hodinách syntetických směsí obsahujících angličtinu, němčinu, španělštinu, francouzštinu a mandarínštinu. Společnost jej označuje za jazykově nezávislý.
Zdrojem čisté řeči při tréninku byly mimo jiné LibriVox, LibriTTS a Common Voice; šum pocházel z AudioSet a Freesound. Součástí tréninku bylo také přibližně 60 000 simulovaných impulzních odezev místností a 70 odezev mikrofonů.
Demo a spuštění modelu
Modelová karta uvádí licenci OpenMDW 1.1 a připravenost ke komerčnímu použití. Předchozí checkpoint Nvidie měl nekomerční podmínky. Pro vyzkoušení jednotlivých souborů společnost nabízí hostované demo.
Standardní skript čte soubory z adresáře noisy_audio/ a vyčištěný zvuk ukládá do enhanced_audio/. Pro nahrávky delší než 30 sekund nabízí repozitář skript inference_chunk.sh, který je kvůli spotřebě paměti GPU rozdělí na překrývající se úseky.
Publikovaný postup pro spuštění modelu cílí na grafické procesory Nvidia Ampere, konkrétně A100, a využívá akceleraci Triton.
