Architecture, points forts et usages
Cette préversion gated et auto-hébergeable appartient au domaine Audio/Parole de Nemotron et à la piste Diarisation des locuteurs. Elle accepte un son mono à 16 kHz et renvoie les probabilités d’activité de huit locuteurs au maximum, classés par ordre d’arrivée.
Le modèle de 100 millions de paramètres utilise un Streaming Sortformer Transformer de 31 couches avec représentations vectorielles de position rotatifs. Les trames Mel de 10 ms sont réduites à 80 ms avant la production des probabilités d’activité des locuteurs par une étape Conv1D.
Diarisation en continu et hors ligne
Jusqu’à huit locuteurs classés par arrivée
Checkpoint NeMo officiel avec précision BF16
Évaluation de la segmentation des locuteurs en réunion ou appel
Analyse en continu des changements de locuteur
Recherche de diarisation hors ligne sur des enregistrements