Архитектура, преимущества и сценарии
Эта доступная по условиям лицензии самостоятельно размещаемая предварительная версия относится к домену аудио и речи Nemotron и направлению диаризации спикеров. Она принимает моноаудио 16 кГц и возвращает вероятности активности максимум восьми спикеров в порядке появления.
Модель со 100 миллионами параметров использует 31-слойный Streaming Sortformer Transformer с вращательными позиционными представлениями. Mel-кадры по 10 мс сокращаются до 80 мс, после чего Conv1D формирует вероятности активности.
Потоковая и офлайн-диаризация
До восьми спикеров в порядке появления
Официальный чекпоинт NeMo с BF16
Оценка сегментации спикеров на встречах и звонках
Потоковый анализ смены спикеров
Исследование офлайн-диаризации записей