Kas yra DVC ir Git LFS duomenų versijavimui?

DVC (Duomenų versijų valdymas) ir Git LFS (Git didelių failų saugykla) yra įrankiai, skirti didelių failų ir duomenų versijų valdymui, kurie įprastame Git nėra efektyvūs.

Git LFS plečia Git, leidžiant saugoti didelius dvejetainius failus už pagrindinio saugyklos ir juos pakeisti Git momentinėse nuotraukose nuorodomis. Tai palengvina darbą su dideliais failais, tačiau nepateikia sudėtingų mechanizmų ML pipeline'ams.

DVC yra pažangesnis įrankis, skirtas ML projektams. Jis leidžia:

• versijuoti duomenis ir modelius, susiejant juos su konkrečiais Git įsipareigojimais.
• valdyti ML pipeline'us ir priklausomybes.
• saugoti duomenis nuotoliniuose saugyklose (S3, Azure, Google Drive ir kt.).

DVC naudojimo pavyzdys:

dvc init
# Pridėti duomenis versijavimui
 dvc add data/dataset.csv
# Sukurti .dvc failą, kuris saugo failo metaduomenis
 git add data/dataset.csv.dvc .gitignore
 git commit -m "Pridėti duomenų rinkinį su DVC"

Taip DVC užtikrina išsamesnį duomenų ir eksperimentų valdymą ML, o Git LFS yra paprastesnis Git išplėtimas dideliems failams.