O que é Delta Lake / Iceberg / Hudi e por que lakehouse?

Delta Lake, Apache Iceberg e Apache Hudi são formatos abertos de armazenamento de dados e motores de gestão de dados para Data Lake, que garantem fiabilidade, transacionalidade e gestão de versões de dados.

Principais funcionalidades:

• Suporte a transações ACID no Data Lake.
• Gestão de versões e capacidade de reverter alterações.
• Otimização da leitura e escrita de grandes volumes de dados.
• Suporte a atualizações incrementais e eliminação de dados.

Lakehouse é uma abordagem arquitetónica que combina as melhores propriedades de Data Warehouse e Data Lake. Permite armazenar dados estruturados e não estruturados num único local com capacidades de processamento analítico e de aprendizagem automática.

Para que serve o Lakehouse:

• Simplificação da infraestrutura de dados.
• Melhoria da qualidade e consistência dos dados.
• Suporte a diversas cargas de trabalho (BI, ML, análise).

Assim, Delta Lake, Iceberg e Hudi são tecnologias-chave para implementar o lakehouse, garantindo armazenamento e processamento de dados fiáveis e eficientes em grande escala.