O que são DVC e Git LFS para controle de versões de dados?

DVC (Controlo de Versões de Dados) e Git LFS (Armazenamento de Grandes Ficheiros do Git) são ferramentas para gerir versões de ficheiros grandes e dados, que não são eficientes de armazenar num Git convencional.

Git LFS amplia o Git, permitindo armazenar ficheiros binários grandes fora do repositório principal, substituindo-os nas instantâneas do Git por links. Isto facilita o trabalho com ficheiros grandes, mas não fornece mecanismos avançados para pipelines de ML.

DVC é uma ferramenta mais avançada, orientada para projetos de ML. Permite:

• versionar dados e modelos, vinculando-os a commits específicos do Git.
• gerir pipelines de ML e dependências.
• armazenar dados em armazenamento remoto (S3, Azure, Google Drive, etc.).

Exemplo de uso do DVC:

dvc init
# Adiciona dados para versionamento
 dvc add data/dataset.csv
# Cria um ficheiro .dvc que armazena metadados do ficheiro
 git add data/dataset.csv.dvc .gitignore
 git commit -m "Adicionar dataset com DVC"

Assim, o DVC fornece uma gestão mais completa de dados e experiências em ML, enquanto o Git LFS é uma extensão mais simples do Git para ficheiros grandes.