Какие приёмы streaming inference для STT (chunked attention, look-ahead)?

Для streaming inference в задачах распознавания речи (STT) применяются техники, позволяющие обрабатывать аудио в реальном времени с минимальной задержкой:

• Chunked Attention — входной аудиопоток разбивается на небольшие чанки (фрагменты). Модель обрабатывает каждый чанк отдельно, используя внимание только внутри чанка или с ограниченным контекстом, что снижает вычислительную нагрузку и задержку.

• Look-ahead — при обработке текущего чанка модель использует небольшой буфер будущих аудиоданных (например, несколько десятков миллисекунд вперед), чтобы улучшить качество распознавания за счёт дополнительного контекста, но при этом задержка остаётся приемлемой.

Эти приёмы балансируют между качеством распознавания и задержкой, позволяя строить системы с низкой латентностью, подходящие для живого взаимодействия.

Пример: модель получает аудио по 500 мс чанкам, для каждого чанка использует attention только внутри чанка и смотрит вперёд ещё 100 мс (look-ahead), чтобы точнее распознать слова, не задерживая вывод более чем на 100 мс.