Data Engineer

Применялся ли метод сравнения хэшей записей для вычисления дельты между источником и целевой таблицей?

Для чего вообще вам нужен был Data Vault?

Какая алгоритмическая сложность получения элемента по ключу из словаря (dict) в Python?

МТС

Детализируйте алгоритм захвата инкремента с источника так, чтобы ничего не терялось при изменении частоты загрузки.

Есть ли ещё механизмы управления shuffle кроме coalesce/repartition?

Как детектировать перекос данных (data skew) в Spark?

Как избежать/устранить перекос данных в Spark?

Как работать с партициями через coalesce и repartition?

Что такое shuffle в Spark и зачем он нужен?

Есть ли опыт работы с движками типа Trino, либо с табличными форматами (Iceberg, Parquet) в Spark?

Знакомы ли с CTE (common table expressions)? Приведите пример использования.

В каких случаях нормализация применяется, а в каких - денормализация?

Какой у тебя есть опыт работы с SQL и реляционными БД?

Если запрос всё равно медленный после добавления нескольких индексов - какой алгоритм диагностики и что делать?

Работал ли ты с оконными функциями? Какие виды оконных функций ты знаешь?

Aston

Что такое журнал транзакций (WAL) в СУБД и зачем он нужен?

Расскажите про задачу с настройкой репликации, которую вы решали.

Расскажи про реляционные базы данных в целом — что это такое?

Как ты понимаешь концепцию ключей в таблицах — для чего это нужно?