Architektur, Stärken und Einsatzbereiche
Diese zugangsbeschränkte, selbst hostbare Vorschau gehört zur Nemotron-Domäne Audio/Sprache und zum Track Sprecherdiarisierung. Sie verarbeitet 16-kHz-Monoaudio und liefert Aktivitätswahrscheinlichkeiten für bis zu acht Sprecher in Ankunftsreihenfolge.
Das Modell mit 100 Millionen Parametern nutzt einen 31-schichtigen Streaming Sortformer Transformer mit rotierenden Positions-Vektoreinbettungen. Mel-Frames von 10 ms werden auf 80 ms reduziert; anschließend erzeugt eine Conv1D-Stufe die Aktivitätswahrscheinlichkeiten.
Streaming- und Offline-Diarisierung
Bis zu acht Sprecher in Ankunftsreihenfolge
Offizieller NeMo-Checkpoint mit BF16
Evaluierung der Sprechersegmentierung in Besprechungen und Anrufen
Streaming-Analyse von Sprecherwechseln
Offline-Forschung zur Diarisierung aufgezeichneter Audiodaten