Data Engineer

Как работает Hash Join?

Middle+

СБЕР

У нас ORDER BY по количеству заказов, и у нас идёт два заказа по 5, ещё два заказа по 3. Как себя поведёт RANK() и как DENSE_RANK()?

Middle

Альфа-Банк

Какие были потребители данных и как строились витрины?

Что такое партицирование? Что такое шардирование? Что такое репликация?

Middle+

СБЕР

Как часто рассчитывались витрины? Был ли это инкрементальный или полный расчёт?

## задачка на моду # Есть список чисел. Напишите функцию, которая находит моду этого списка. # find_mode([1, 2, 3, 3, 4, 5]) #> 3

Middle

СБЕР

Можно ли посмотреть схему таблицы перед выполнением запроса в Hive?

Middle

Aston

Напрямую со Spark приходилось работать? В чем его минус?

Middle

МВидео

Ветка feature содержит несколько коммитов с неудачно закоммиченным файлом config.yaml, который позже был исправлен. В результате команда решила полностью удалить все изменения файла из истории, чтобы избежать раскрытия конфиденциальных настроек. Исходное состояние ветки (вывод git log --oneline): 1 a4b5c67 (HEAD -> feature) Refactored service logic 2 d9f0a11 Fixed config.yaml typo 3 7c1d3f2 Added temporary config.yaml 4 e3a98cd Initial commit 5 После переписывания истории, чтобы удалить файл config.yaml, вывод git log --oneline стал т 6 b9e7d42 (HEAD -> feature) Refactored service logic 7 41f3b60 Initial commit Какую операцию выполнила команда? - Выполнила git revert на коммит с config.yaml - Выполнила git filter-branch --index-filter "git rm --cached config.yaml" -- --all - Выполнила git rebase -i с удалением коммитов, содержащих изменения файла - Выполнила git commit --amend и git push --force - Выполнила git cherry-pick для создания новой ветки без config.yaml

С зависимостями между джобами, между DAG — использовал сенсоры, чтобы они один за другим несколько джобов запускались?

Middle

МВидео

Джобы из dbt в Airflow — ты руками писал или как-то автоматизировал, были шаблоны?

Middle

МВидео

Вы работаете над веткой feature/checkout-flow. После попытки rebase коммиты с добавлением корзины и финальной кнопки оформления заказа исчезли. Вы смотрите git log: commit 8bcd3f2 Author: You Date: Fri Apr 26 16:00:00 2025 UI fixes for mobile А вот вывод git reflog: 2f48e9a HEAD@{0}: rebase -i (squash): UI fixes for mobile 98c1dd3 HEAD@{1}: commit: Added checkout button 3adba75 HEAD@{2}: commit: Add cart logic 8bcd3f2 HEAD@{3}: checkout: moving from main to feature/checkout-flow Что произошло и как вернуть работу?

С какими источниками данных удалось поработать? Как именно происходило взаимодействие с источниками?

Тебе пришла задача с номером ABC. Каков твой порядок действий в Git при начале работы?

Middle

Альфа-Банк

У нас топик сильно структурированный, древовидный, данные там сырые — как их обрабатывать?

Middle

МВидео

Что такое нормализация и денормализация, когда они нужны?

Мы подаем на вход метаданные, и он на основе этих метаданных создает поток — как это позволит быстро перенести существующие потоки со старых систем в планируемую?

Middle

МВидео

Если CTE используется один раз в запросе, есть ли смысл ее использовать?

Middle

МВидео

Можешь рассказать, что здесь в итоге у нас получится? Нужно прокомментировать каждый шаг, как это работает.

Middle

МВидео

Как обеспечить мобильному клиенту доступ к тем же заказам, но с меньшим набором полей? Что такое BFF?