Šta su DVC i Git LFS za verzionisanje podataka?

DVC (Kontrola verzija podataka) i Git LFS (Git Velike datoteke za skladištenje) su alati za upravljanje verzijama velikih datoteka i podataka, koji nisu efikasni za skladištenje u običnom Git-u.

Git LFS proširuje Git, omogućavajući skladištenje velikih binarnih fajlova van glavnog repozitorijuma, zamenjujući ih u Git snimcima linkovima. To olakšava rad sa velikim fajlovima, ali ne pruža složene mehanizme za ML pipeline.

DVC je napredniji alat, usmeren na ML projekte. Omogućava:

• verzionisanje podataka i modela, povezujući ih sa specifičnim Git commit-ovima.
• upravljanje ML pipeline-ima i zavisnostima.
• skladištenje podataka u udaljenim skladištima (S3, Azure, Google Drive itd.).

Primer korišćenja DVC:

dvc init
# Dodavanje podataka za verzionisanje
 dvc add data/dataset.csv
# Kreiranje fajla .dvc koji čuva metapodatke o fajlu
 git add data/dataset.csv.dvc .gitignore
 git commit -m "Dodavanje dataset-a sa DVC"

Na ovaj način, DVC obezbeđuje sveobuhvatnije upravljanje podacima i eksperimentima u ML, dok je Git LFS jednostavnije proširenje Gita za velike fajlove.