Autoři zpřístupnili Phonon, malý model pro převod textu na řeč, který běží přímo v zařízení bez serveru a síťového připojení. Zadaný text tak zařízení neopouští. Model je dostupný ve dvou velikostech, podporuje pět jazyků a nabízí více než 100 předpřipravených hlasů.
Dvě verze a vlastní hlasy
Phonon se dodává ve velikostech přibližně 65 a 75 MB. Verze Phonon 31m mluví anglicky, zatímco Phonon 40m podporuje všech pět jazyků: angličtinu, francouzštinu, němčinu, španělštinu a portugalštinu.
Vedle předpřipravených hlasů lze v Gradium Studio vytvořit vlastní. Uživatel může se souhlasem mluvčího naklonovat hlas z krátké nahrávky, případně nový hlas popsat textem. Výsledný soubor si stáhne a načte do Phononu, který pak běží v zařízení.
Podle autorů po dubnovém oznámení model šest měsíců vyvíjeli s partnery a prvními uživateli. Během této práce modely zmenšili a přidali další jazyky i podporu vlastních hlasů.
Spuštění v telefonu, počítači i prohlížeči
Phonon lze spustit na telefonech, noteboocích, jednodeskových počítačích i v prohlížeči. Podle autorů si poradí také s telefonními čísly, daty a kódy.
Pro model vznikl inferenční framework ptts, který podporuje více než deset backendů pro procesory CPU, GPU a NPU. Patří mezi ně například WebAssembly, CUDA, Metal, WebGPU a Apple Core ML.
Referenční implementace v PyTorch je součástí knihovny Transformers od verze 5.21. Zatímco ptts zpracovává v zařízení jeden proud, integrace v Transformers je zaměřená na propustnost GPU, dávkové generování a syntézu rozsáhlých řečových datasetů.
V integraci Transformers model autoregresivně vytváří latentní reprezentace zvuku, které procesor dekóduje na audio. Hlasy se dodávají jako předem vypočtené latentní reprezentace mluvčích a přiložený audio tokenizer slouží pouze k dekódování.
Výsledky srozumitelnosti a ukázky
Phonon vychází z řady Pocket TTS a k vytváření zvuku používá metodu flow matching. Podle autorů byl trénink zpočátku numericky nestabilní a vyžadoval úpravy, aby dosáhl kvalitních výsledků ve všech pěti jazycích.
V žebříčku Hugging Face Open TTS Leaderboard se Phonon podle autorů umístil první ve srozumitelnosti němčiny a španělštiny a v první trojici u každého jazyka, který vyhodnotili. Žebříček měří srozumitelnost pomocí chybovosti slov ve výstupech. Autoři rovněž uvádějí, že modely Phonon vedou v testu streamování na CPU podle času do prvního zvukového výstupu.
Doprovodné ukázky představily hlasového průvodce přípravou kávy na Apple Watch s vypnutou Wi-Fi a počítání opakování cvičení na iPhonu bez signálu. Podle autorů byl Phonon během prvních dvou týdnů stažen více než 200 000krát.
Licence a komerční použití
Anglický Phonon 31m je dostupný pod licencí Apache 2.0 zdarma i pro komerční použití. Phonon 40m má nekomerční licenci; u komerčního využití ostatních modelů se cena odvíjí od počtu uživatelů, nikoli od objemu vygenerované řeči.
