Nvidia hat NemotronLabs RE-USE veröffentlicht, ein offenes mehrsprachiges Modell zur Bereinigung von Sprachaufnahmen. Es soll Rauschen, Nachhall und andere Störungen entfernen und dabei die Verständlichkeit und die Identität der sprechenden Person bewahren. Ein einziger Checkpoint, also ein Satz Modellgewichte, verarbeitet Aufnahmen mit sieben Abtastraten.
Ein Checkpoint für verschiedene Aufnahmen
RE-USE ist für Sprachaufnahmen gedacht, die etwa durch Rauschen, Nachhall, Übersteuerung oder Codec-Artefakte beeinträchtigt sind. Das Modell verarbeitet auch Störungen durch Paketverluste oder Mikrofonverzerrungen. Es unterstützt 8, 16, 22,05, 24, 32, 44,1 und 48 kHz, ohne für jede Abtastrate einen eigenen Checkpoint zu benötigen.
Bei sich überlagernden Stimmen zielt das Training darauf ab, die Hauptstimme zu erhalten und andere Stimmen zu unterdrücken. Um alle sprechenden Personen zu erhalten oder zu identifizieren, sind separate Werkzeuge zur Quellentrennung oder Diarisierung nötig. Für Anwendungen, die Lachen besser bewahren sollen, stellt Nvidia den verwandten Checkpoint NemotronLabs RE-USE-laughter bereit.
Vergleich mit größeren Modellen
Das Modell hat 9,6 Millionen Parameter; seine Gewichte im FP32-Format belegen vor dem Verpacken rund 38,4 MB. Nvidia verglich es auf dem nicht verblindeten URGENT-2025-Testdatensatz unter anderem mit Sidon mit 250 Millionen und UniPASE mit 500 Millionen Parametern.
Bei PESQ, einer Schätzung der wahrgenommenen Sprachqualität, erreichte RE-USE laut Nvidia einen Wert von 2,57. UniPASE kam auf 2,17 und Sidon auf 1,73. Bei STOI, einem Maß für die geschätzte Verständlichkeit, lagen die Ergebnisse in derselben Reihenfolge bei 0,78, 0,76 und 0,62.
Im selben Testdatensatz gibt Nvidia für RE-USE eine Sprecherähnlichkeit von 0,86 und eine Zeichengenauigkeit der Spracherkennung von 89,17 % an. UniPASE erreichte 0,81 und 87,28 %, Sidon 0,74 und 84,68 %. RE-USE liegt jedoch nicht bei allen Kennzahlen vorn: In den veröffentlichten Ergebnissen erzielt Sidon bei einigen Vorhersagewerten für die wahrgenommene Qualität nach UTMOS und DNSMOS höhere Werte.
Weitere veröffentlichte Ergebnisse für 16 kHz zeigen einen Anstieg der Zeichengenauigkeit der Spracherkennung von 76,5 % beim verrauschten Eingangssignal auf 87,1 % nach der Bereinigung. Auf der 44,1-kHz-Teilmenge erreichte RE-USE eine Sprecherähnlichkeit von 0,90, Resemble Enhance kam auf 0,57.
Mamba-Architektur und Trainingsdaten
Im Inneren des Modells liegt ein bidirektionaler Mamba-Kern mit 30 Schichten zwischen einem konvolutionalen Encoder und Decoder. Der Encoder wandelt den Ton in die interne Repräsentation des Modells um, der Decoder wandelt sie zurück. Der Rechenaufwand für die Sequenzmodellierung mit Mamba wächst linear mit der Länge der Sequenz.
Nvidia trainierte das Modell mit rund 2.500 Stunden synthetischer Mischungen, die Sprache auf Englisch, Deutsch, Spanisch, Französisch und Mandarin enthielten. Das Unternehmen bezeichnet es als sprachunabhängig.
Saubere Sprachaufnahmen für das Training stammten unter anderem aus LibriVox, LibriTTS und Common Voice; Rauschmaterial kam aus AudioSet und Freesound. Zum Training gehörten außerdem rund 60.000 simulierte Raumimpulsantworten und 70 Mikrofonimpulsantworten.
Demo und Ausführung des Modells
Die Modellkarte nennt die Lizenz OpenMDW 1.1 und bezeichnet das Modell als bereit für den kommerziellen Einsatz. Nvidias vorheriger Checkpoint unterlag nicht kommerziellen Nutzungsbedingungen. Um einzelne Dateien auszuprobieren, bietet das Unternehmen eine gehostete Demo an.
Das Standardskript liest Dateien aus dem Verzeichnis noisy_audio/ und speichert den bereinigten Ton in enhanced_audio/. Für Aufnahmen, die länger als 30 Sekunden sind, bietet das Repository das Skript inference_chunk.sh an. Es teilt sie in überlappende Abschnitte, um den GPU-Speicherverbrauch zu begrenzen.
Der veröffentlichte Weg zur Ausführung des Modells ist auf Nvidia-Ampere-GPUs, konkret die A100, ausgerichtet und nutzt Triton-Beschleunigung.
