O que é um pipeline de batch vs streaming para recursos?

O pipeline em lote e o pipeline de streaming são duas abordagens para o processamento de dados na geração de recursos em ML:

• Pipeline em lote processa dados em grandes porções (lotes). Por exemplo, coleta e transforma dados uma vez por dia para atualizar os recursos. Isso é conveniente quando os dados não exigem atualização instantânea e uma latência pode ser permitida.

• Pipeline de streaming processa dados em tempo real ou quase em tempo real, à medida que chegam. Isso é importante se os recursos devem refletir os eventos mais recentes, por exemplo, para recomendações online ou detecção de fraude.

A escolha depende dos requisitos de frescura dos dados e dos recursos disponíveis. Muitas vezes, usa-se uma abordagem híbrida: os recursos principais são atualizados por lotes, e os críticos por streaming.