Что хотят услышать интервьюеры:

DWH и Data Lake решают разные задачи: DWH — для структурированных, очищенных и согласованных данных под аналитику, а Data Lake — для хранения данных в любом виде, включая сырые и полуструктурированные. Обычно ожидают понимание различий по схеме хранения, качеству данных, способам доступа и типичным сценариям использования. Важно показать, что выбор зависит от потребности: отчетность и BI — чаще DWH, эксперименты и разнородные данные — чаще Data Lake.

Определение:

DWH (Data Warehouse) — это хранилище данных, где информация заранее подготовлена: очищена, приведена к единой модели и оптимизирована для аналитических запросов и отчетности.

Data Lake — это хранилище, куда данные складываются в исходном или почти исходном виде без жесткой предварительной схемы, чтобы потом использовать их для аналитики, ML и последующей обработки.

Главное различие: DWH хранит уже «упорядоченные» данные для предсказуемых запросов, а Data Lake — «как есть» данные для гибкой последующей работы.

Пример использования:

Компания собирает данные о продажах, кликах и пользователях.
Для регулярных отчетов по выручке, марже и KPI используется DWH, где данные уже очищены и связаны между собой.
Для хранения сырых логов веб-сайта, событий мобильного приложения и файлов из внешних источников используется Data Lake, чтобы позже построить новые витрины, фичи для ML-модели или провести исследование.

Пояснение кода:

Код не требуется, так как вопрос концептуальный. Разложим пример по шагам:

Сначала данные из разных систем попадают в Data Lake в сыром виде.
Затем из Data Lake или напрямую из источников они очищаются, нормализуются и объединяются.
После этого подготовленные данные загружаются в DWH.
Бизнес-аналитики и BI-инструменты строят отчеты уже поверх DWH.
Data Scientist может брать сырые данные из Data Lake для экспериментов и построения признаков.

Ключевые моменты:

DWH — для структурированных, качественных данных и стабильной отчетности.
Data Lake — для хранения любых данных, включая сырые логи, файлы, события и полуструктурированные форматы.
В DWH схема чаще задается заранее, в Data Lake — позже, при чтении или обработке.
DWH обычно лучше подходит для BI и ad-hoc аналитики, Data Lake — для data science, ML и исследований.
На практике часто используют оба подхода вместе: Data Lake как источник и DWH как слой для бизнес-аналитики.
Основной выбор зависит от того, что важнее: строгость и скорость отчетности или гибкость и дешевое хранение разнородных данных.

В чем разница DWH и Data Lake?