Что такое batch vs streaming pipeline для фич?

Batch pipeline и streaming pipeline — два подхода к обработке данных для генерации фичей в ML:

• Batch pipeline обрабатывает данные большими порциями (батчами). Например, раз в сутки собирает и преобразует данные для обновления фич. Это удобно, когда данные не требуют мгновенного обновления и можно позволить задержку.

• Streaming pipeline обрабатывает данные в реальном времени или почти в реальном времени, по мере их поступления. Это важно, если фичи должны отражать последние события, например, для онлайн-рекомендаций или обнаружения мошенничества.

Выбор зависит от требований к свежести данных и ресурсов. Часто используют гибридный подход: основные фичи обновляются батчами, а критичные — стримингом.