Что такое diarization и какие подходы (clustering, EEND)?

Diarization — это задача разделения аудиозаписи на сегменты, принадлежащие разным говорящим, то есть определение "кто говорит когда".

Основные подходы:

1. Clustering (кластеризация)

   • Сначала аудио разбивается на короткие сегменты.
   • Для каждого сегмента извлекаются акустические признаки (например, MFCC).
   • Применяется алгоритм кластеризации (например, k-means, agglomerative clustering) для группировки сегментов по говорящим.
   • Требует предварительного знания или оценки числа говорящих.

2. EEND (End-to-End Neural Diarization)

   • Использует нейронные сети, которые напрямую принимают аудиосигнал и выдают метки говорящих по времени.
   • Позволяет моделировать перекрытия речи и не требует явного этапа кластеризации.
   • Обучается на больших наборах данных с разметкой.

Таким образом, классический подход основан на извлечении признаков и кластеризации, а современные — на обучении нейросетей, которые решают задачу целиком.