Что хотят услышать интервьюеры:

Data versioning — это версионирование данных и датасетов так же, как кода: можно фиксировать состояние данных, откатываться к прошлой версии и воспроизводить эксперименты. DVC и lakeFS решают похожую задачу, но на разных уровнях: DVC ближе к ML-экспериментам и пайплайнам, lakeFS — к версионированию объектов в data lake и работе с S3-подобным хранилищем. Для собеседования важно понимать, когда нужен контроль версий данных, а когда достаточно обычного Git и метаданных.

Определение:

Data versioning — это подход к управлению изменениями данных, при котором фиксируются версии файлов, датасетов или целых слоёв хранилища. Это позволяет отслеживать, какие данные использовались в обучении модели, сравнивать изменения, воспроизводить результаты и возвращаться к стабильному состоянию.

DVC — это инструмент для ML-проектов, который хранит метаданные о версиях данных в Git, а сами большие файлы — во внешнем хранилище. Он удобен для связывания кода, данных, моделей и пайплайнов.

lakeFS — это система версионирования для data lake, которая добавляет Git-подобные сущности вроде branch, commit и merge поверх объектного хранилища. Она полезна, когда нужно управлять версиями больших наборов данных на уровне хранилища и безопасно тестировать изменения.

Пример использования:

Например, команда обучает модель скоринга. В одной версии датасета исправили пропуски, в другой добавили новые признаки. Нужно сравнить качество модели и при необходимости быстро вернуться к прошлому набору данных.

# DVC: фиксация версии данных
dvc add data/train.csv
git add data/train.csv.dvc .gitignore
git commit -m "Track training data version"

# Получить конкретную версию данных
git checkout <commit>
dvc checkout

В lakeFS можно создать ветку для эксперимента, загрузить туда изменённые данные, проверить результат и затем слить изменения в основную ветку, если всё прошло успешно.

Пояснение кода:

В примере с DVC код показывает базовую идею: команда dvc add создаёт метаданные о файле данных, а сам файл уходит в DVC-хранилище, а не в Git. Затем метаданные коммитятся в Git, чтобы версия данных была связана с версией кода. При переключении на нужный коммит dvc checkout восстанавливает соответствующее состояние данных.

В случае lakeFS код не обязателен для понимания концепции: обычно процесс выглядит так — создают ветку на базе основного data lake, вносят изменения в данные, запускают валидацию или обучение, затем либо сливают ветку, либо откатывают её без влияния на основную версию.

Ключевые моменты:

Data versioning нужен для воспроизводимости, отката и аудита изменений данных.
DVC лучше подходит для ML-проектов, где важно связать данные, код и эксперименты.
lakeFS лучше подходит для версионирования данных прямо в data lake и работы по Git-подобной модели.
DVC обычно опирается на Git для метаданных, а большие данные хранит отдельно.
lakeFS работает поверх объектного хранилища и позволяет использовать branch/commit/merge для данных.
При выборе инструмента важно смотреть на масштаб, инфраструктуру и сценарий: эксперименты в ML или управление data lake.

Что такое data versioning и сравнение DVC, LakeFS, lakeFS?