Data Engineer

Что такое статистика в контексте СУБД и оптимизации запросов?

Почему ты сейчас ищешь новое место работы, хочешь сменить работу?

Middle

СБЕР

Есть таблица T1 (10 строк) и таблица T2 (5 строк), обе с полем ID. Сколько строк может быть максимум и минимум на выходе при INNER JOIN и LEFT JOIN этих таблиц?

Middle

СБЕР

Расскажи про своё понимание качества данных — был ли у тебя опыт работы с этим направлением?

Middle

СБЕР

Расскажи про процессы CI/CD, изменения в БД, версионирование и миграции схемы (schema evolution)?

Приходилось ли взаимодействовать с Data Scientists напрямую, собирать с них ТЗ?

Как вы загружали данные из S3 в Greenplum?

Middle

Aston

import clickhouse_driver from airflow.hooks.base import * def get_clickhouse_client(): conn = BaseHook.get_connection("clickhouse_default") return clickhouse_driver.Client( host=conn.host, port=conn.port, user=conn.login, password=conn.password, database=conn.schema )

Как можно управлять shuffle в Spark (партиционирование, broadcast join и т.д.)?

Как связаны сортировка внутри оконной функции и итоговая сортировка ORDER BY в запросе?

Применялся ли метод сравнения хэшей записей для вычисления дельты между источником и целевой таблицей?

Работал ли ты с инкрементальной и full-загрузкой? Как боролись с дубликатами?

Middle

Aston

Что такое ленивые операции в Spark и для чего они нужны?

Middle

Aston

Доводилось ли тебе делать отчёты, дашборды, визуализации (BI)?

LEFT JOIN: таблица с 10 записями LEFT JOIN таблица со 100 записями. Какое минимальное и максимальное количество строк можно получить?

Знакомы ли с CTE (common table expressions)? Приведите пример использования.

Как работать с партициями через coalesce и repartition?

Какой у тебя есть опыт работы с SQL и реляционными БД?

Как ты понимаешь концепцию ключей в таблицах — для чего это нужно?

Чем именно наша вакансия привлекла, почему решил откликнуться?