Quais são as características dos esquemas Parquet e por que eles são eficientes para ML?

Parquet é um formato de armazenamento de dados em colunas, otimizado para tarefas analíticas e aprendizagem automática. As suas características de esquema incluem:

• Armazenamento em colunas: os dados são armazenados por colunas, o que permite ler apenas as características necessárias (features), reduzindo o volume de dados transferidos.
• Esquema com tipos de dados: o Parquet armazena metadados sobre tipos e estrutura de dados, facilitando a validação e o processamento.
• Compressão e codificação: métodos ótimos de compressão e codificação são aplicados a cada coluna, reduzindo o tamanho do ficheiro e acelerando o I/O.
• Suporte para estruturas aninhadas: o Parquet consegue armazenar tipos complexos, como arrays e estruturas, útil para dados flexíveis.

A eficiência para ML deve-se ao fato de que, ao treinar modelos, muitas vezes apenas certas características são necessárias, e o Parquet permite extraí-las de forma rápida e económica. Além disso, a redução do volume de dados diminui o tempo de carregamento e processamento, o que é crítico ao trabalhar com grandes conjuntos de dados.