Что такое CTC loss в OCR?

CTC loss (Connectionist Temporal Classification) — это функция потерь, широко используемая в задачах распознавания последовательностей, таких как OCR (оптическое распознавание символов), где выравнивание между входными данными и целевой последовательностью неизвестно.

В OCR модель получает последовательность признаков (например, из изображения текста), а целевая последовательность — это текст, который нужно распознать. Проблема в том, что длина входной последовательности и длина текста не совпадают, и неизвестно, какие части входа соответствуют каким символам.

CTC loss решает эту проблему, позволяя модели предсказывать последовательность с возможными пустыми символами (blank), и автоматически вычисляет вероятность всех возможных выравниваний между входом и целевой последовательностью. Это позволяет обучать модель без явной разметки выравнивания.

Пример применения:

• Модель выдает вероятности для каждого символа (включая blank) на каждом временном шаге.
• CTC loss суммирует вероятности всех путей, которые могут привести к целевой последовательности, и минимизирует отрицательный логарифм этой суммы.

Таким образом, CTC loss позволяет эффективно обучать модели для распознавания текста, где точное выравнивание между входом и выходом неизвестно.