Data Engineer

Как поступать при перекосе (skew) по user_id при JOIN таблиц транзакций и пользователей? Как выбрать оптимальный ключ распределения?

CREATE TABLE raw.local_transactions ON CLUSTER cluster_4x2 ( transaction_id String, user_id String, amount Float64, created_at DateTime ) ENGINE = ReplicatedMergeTree() PARTITION BY amount ORDER BY (transaction_id); CREATE TABLE raw.transactions ON CLUSTER cluster_4x2 ( transaction_id String, user_id String, amount Float64, created_at DateTime ) ENGINE = Distributed('cluster_4x2', 'raw', 'local_transactions', cityHash64(user_id));

Какие Docker-образы приходилось собирать, зачем?

Какие есть типичные причины того, что запрос в СУБД работает медленно?

Работал ли ты с batch-загрузкой или стримингом?

Middle

Aston

Как управлять ресурсами Spark-приложения, чтобы не перерасходовать память при изменении объёма входных данных?

Чем тебя привлекает направление travel? Может быть, сам любишь путешествовать, или travel-tech чем-то заинтересовал?

Работал ли с feature store-ами?

CREATE TABLE core.localUserMetadata ON CLUSTER cluster_4x2 ( UserId String, Country String, LastLoginDate DateTime ) ENGINE = ReplicatedReplacingMergeTree() ORDER BY (UserId); CREATE TABLE core.userMetadata ON CLUSTER cluster_4x2 ( UserId String, Country String, LastLoginDate Datetime ) ENGINE = Distributed('cluster_4x2', 'core', 'localUserMetadata', cityHash64(LastLoginDate));

За счёт чего именно получилось оптимизировать запросы на Data Vault, если он обычно увеличивает количество джойнов?

Что такое партиционирование и дистрибуция (шаффлинг)?

Был ли у тебя опыт с Docker-образами, поднятием окружения на виртуалке?

Что такое broadcast join в Spark?

Middle

Aston

Сколько суммарно работал со Spark и насколько глубоко в него погружался?

Расскажи, чем занимаешься в свободное время помимо кодинга — какие у тебя хобби?

Был ли опыт оптимизации Spark-задач? Можешь привести конкретный пример?

Middle

Aston

Есть такое понятие — уровни изоляции транзакций. Что ты об этом знаешь?

ROWS BETWEEN и RANGE BETWEEN — в чём разница?

Был ли у тебя опыт работы с Table Engine Join в ClickHouse?

Какие неочевидные проблемы могут возникнуть при загрузке больших таблиц (кроме производительности)?