Nvidia veröffentlicht RE-USE zur Sprachbereinigung mit sieben Abtastraten

Nvidia veröffentlicht RE-USE zur Sprachbereinigung mit sieben Abtastraten

Ondřej Barták
Ondřej Barták
Unternehmer und Programmierer
31. 10. 2026
3 Minuten Lesezeit · 3 Aufrufe
Artikel anhören
Audioversion des Artikels
Nvidia veröffentlicht RE-USE zur Sprachbereinigung mit sieben Abtastraten

Nvidia hat NemotronLabs RE-USE veröffentlicht, ein offenes mehrsprachiges Modell zur Bereinigung von Sprachaufnahmen. Es soll Rauschen, Nachhall und andere Störungen entfernen und dabei die Verständlichkeit und die Identität der sprechenden Person bewahren. Ein einziger Checkpoint, also ein Satz Modellgewichte, verarbeitet Aufnahmen mit sieben Abtastraten.

Ein Checkpoint für verschiedene Aufnahmen

RE-USE ist für Sprachaufnahmen gedacht, die etwa durch Rauschen, Nachhall, Übersteuerung oder Codec-Artefakte beeinträchtigt sind. Das Modell verarbeitet auch Störungen durch Paketverluste oder Mikrofonverzerrungen. Es unterstützt 8, 16, 22,05, 24, 32, 44,1 und 48 kHz, ohne für jede Abtastrate einen eigenen Checkpoint zu benötigen.

Bei sich überlagernden Stimmen zielt das Training darauf ab, die Hauptstimme zu erhalten und andere Stimmen zu unterdrücken. Um alle sprechenden Personen zu erhalten oder zu identifizieren, sind separate Werkzeuge zur Quellentrennung oder Diarisierung nötig. Für Anwendungen, die Lachen besser bewahren sollen, stellt Nvidia den verwandten Checkpoint NemotronLabs RE-USE-laughter bereit.

Vergleich mit größeren Modellen

Das Modell hat 9,6 Millionen Parameter; seine Gewichte im FP32-Format belegen vor dem Verpacken rund 38,4 MB. Nvidia verglich es auf dem nicht verblindeten URGENT-2025-Testdatensatz unter anderem mit Sidon mit 250 Millionen und UniPASE mit 500 Millionen Parametern.

Bei PESQ, einer Schätzung der wahrgenommenen Sprachqualität, erreichte RE-USE laut Nvidia einen Wert von 2,57. UniPASE kam auf 2,17 und Sidon auf 1,73. Bei STOI, einem Maß für die geschätzte Verständlichkeit, lagen die Ergebnisse in derselben Reihenfolge bei 0,78, 0,76 und 0,62.

Im selben Testdatensatz gibt Nvidia für RE-USE eine Sprecherähnlichkeit von 0,86 und eine Zeichengenauigkeit der Spracherkennung von 89,17 % an. UniPASE erreichte 0,81 und 87,28 %, Sidon 0,74 und 84,68 %. RE-USE liegt jedoch nicht bei allen Kennzahlen vorn: In den veröffentlichten Ergebnissen erzielt Sidon bei einigen Vorhersagewerten für die wahrgenommene Qualität nach UTMOS und DNSMOS höhere Werte.

Weitere veröffentlichte Ergebnisse für 16 kHz zeigen einen Anstieg der Zeichengenauigkeit der Spracherkennung von 76,5 % beim verrauschten Eingangssignal auf 87,1 % nach der Bereinigung. Auf der 44,1-kHz-Teilmenge erreichte RE-USE eine Sprecherähnlichkeit von 0,90, Resemble Enhance kam auf 0,57.

Mamba-Architektur und Trainingsdaten

Im Inneren des Modells liegt ein bidirektionaler Mamba-Kern mit 30 Schichten zwischen einem konvolutionalen Encoder und Decoder. Der Encoder wandelt den Ton in die interne Repräsentation des Modells um, der Decoder wandelt sie zurück. Der Rechenaufwand für die Sequenzmodellierung mit Mamba wächst linear mit der Länge der Sequenz.

Nvidia trainierte das Modell mit rund 2.500 Stunden synthetischer Mischungen, die Sprache auf Englisch, Deutsch, Spanisch, Französisch und Mandarin enthielten. Das Unternehmen bezeichnet es als sprachunabhängig.

Saubere Sprachaufnahmen für das Training stammten unter anderem aus LibriVox, LibriTTS und Common Voice; Rauschmaterial kam aus AudioSet und Freesound. Zum Training gehörten außerdem rund 60.000 simulierte Raumimpulsantworten und 70 Mikrofonimpulsantworten.

Demo und Ausführung des Modells

Die Modellkarte nennt die Lizenz OpenMDW 1.1 und bezeichnet das Modell als bereit für den kommerziellen Einsatz. Nvidias vorheriger Checkpoint unterlag nicht kommerziellen Nutzungsbedingungen. Um einzelne Dateien auszuprobieren, bietet das Unternehmen eine gehostete Demo an.

Das Standardskript liest Dateien aus dem Verzeichnis noisy_audio/ und speichert den bereinigten Ton in enhanced_audio/. Für Aufnahmen, die länger als 30 Sekunden sind, bietet das Repository das Skript inference_chunk.sh an. Es teilt sie in überlappende Abschnitte, um den GPU-Speicherverbrauch zu begrenzen.

Der veröffentlichte Weg zur Ausführung des Modells ist auf Nvidia-Ampere-GPUs, konkret die A100, ausgerichtet und nutzt Triton-Beschleunigung.

Werbung

Inhalte entstehen mit Unterstützung von UpTier.

SEO und GEO auf Autopilot. Die Multiagentensysteme von UpTier schreiben und optimieren Inhalte für Suchmaschinen und KI-Antworten.

UpTier entdecken ↗

Kategorie:KI
Hat Ihnen dieser Artikel gefallen?
Entdecken Sie weitere interessante Beiträge im Blog
Zurück zum Blog

Ähnliche Beiträge

Anthropic geht an die Börse: Aktien für 70 bis 78 Dollar, Wert könnte 1,4 Billionen erreichenAnthropic geht an die Börse: Aktien für 70 bis 78 Dollar, Wert könnte 1,4 Billionen erreichen
Der Claude-Entwickler will an der Börse mehr als 64 Milliarden Dollar einsammeln. Das rasante Umsatzwachstum geht jedoch mit enormen Verlusten und einem nervösen Markt einher, der die Bewertung drücken könnte.
4 Min. Lesezeit
12. 11. 2026
Forscher korrigieren ihre Prognosen. Die Intelligenzexplosion der KI soll schon nächstes Jahr kommen!Forscher korrigieren ihre Prognosen. Die Intelligenzexplosion der KI soll schon nächstes Jahr kommen!
Eine neue Analyse der Entwicklung bei Anthropic verlegt den Beginn übermenschlicher KI auf das Jahr 2027. Eine Schlüsselrolle soll dabei künstliche Intelligenz spielen, die ihre eigene Entwicklung bereits deutlich beschleunigt.
6 Min. Lesezeit
12. 11. 2026
Adobe bringt KI-Agenten in Photoshop und Premiere. Einen Teil der Arbeit erledigen sie auch ohne SieAdobe bringt KI-Agenten in Photoshop und Premiere. Einen Teil der Arbeit erledigen sie auch ohne Sie
Adobe erweitert seine Kreativ-Apps um KI-Agenten, die mehrstufige Aufgaben, Hintergrundprozesse und die Bearbeitung von Dateien über mehrere Tools hinweg übernehmen. Erfahren Sie, was die Neuerungen können.
3 Min. Lesezeit
12. 11. 2026
Přihlaste se k odběru našeho newsletteru
Zůstaňte informováni o nejnovějších příspěvcích, exkluzivních nabídkách, a aktualizacích.
CodedTrip

Betreiber: CodedTrip LLC, USA.

YouTube
TikTok