Что такое CTC loss и где он применяется в ASR?

CTC (Connectionist Temporal Classification) loss — это функция потерь, используемая для обучения моделей, которые предсказывают последовательности с невыравненными входными и выходными данными, например, в задачах распознавания речи (ASR).

Основная проблема в ASR — длина входного аудиосигнала и длина текстовой транскрипции не совпадают, и выравнивание между ними неизвестно. CTC позволяет модели обучаться без явного выравнивания, автоматически учитывая все возможные варианты сопоставления входных фреймов с выходными символами.

Как работает CTC:

• Модель предсказывает на каждом временном шаге распределение вероятностей по символам (включая специальный символ "blank" — пустой).
• CTC вычисляет вероятность правильной последовательности, суммируя по всем возможным путям, которые могут быть сведены к целевой последовательности после удаления пустых символов и повторов.
• Функция потерь — отрицательный логарифм этой вероятности.

Применение в ASR:

• Обучение моделей, таких как RNN, LSTM, Transformer, для преобразования аудио в текст.
• Позволяет не требовать точного выравнивания аудио и текста.

Пример: если модель предсказывает последовательность символов с пустыми символами и повторами, CTC агрегирует все пути, которые соответствуют целевой транскрипции.

Таким образом, CTC loss — ключевой компонент для обучения систем автоматического распознавания речи, особенно когда выравнивание между аудио и текстом неизвестно или сложно получить.