Sobes.tech
Middle — Senior

¿Qué son DVC y Git LFS para el control de versiones de datos?

sobes.tech AI

Respuesta de la IA

DVC (Control de Versiones de Datos) y Git LFS (Almacenamiento de Archivos Grandes de Git) son herramientas para gestionar versiones de archivos grandes y datos, que no son eficientes de almacenar en un Git convencional.

Git LFS amplía Git, permitiendo almacenar archivos binarios grandes fuera del repositorio principal, reemplazándolos en las instantáneas de Git con enlaces. Esto facilita el trabajo con archivos grandes, pero no proporciona mecanismos complejos para pipelines de ML.

DVC es una herramienta más avanzada, orientada a proyectos de ML. Permite:

  • Versionar datos y modelos, vinculándolos a commits específicos de Git.
  • Gestionar pipelines de ML y dependencias.
  • Almacenar datos en almacenamiento remoto (S3, Azure, Google Drive, etc.).

Ejemplo de uso de DVC:

dvc init
# Añadimos datos para versionado
 dvc add data/dataset.csv
# Creamos un archivo .dvc que almacena metadatos del archivo
 git add data/dataset.csv.dvc .gitignore
 git commit -m "Agregar dataset con DVC"

De esta forma, DVC proporciona una gestión más completa de datos y experimentos en ML, mientras que Git LFS es una extensión más sencilla de Git para archivos grandes.