Data Engineer

Работал ли ты с batch-загрузкой или стримингом?

Middle

Aston

Что такое broadcast join в Spark?

Middle

Aston

Был ли опыт оптимизации Spark-задач? Можешь привести конкретный пример?

Middle

Aston

Какая команда меняет права доступа к файлам в Linux?

Middle

МТС

Как поступать при перекосе (skew) по user_id при JOIN таблиц транзакций и пользователей? Как выбрать оптимальный ключ распределения?

CREATE TABLE raw.local_transactions ON CLUSTER cluster_4x2 ( transaction_id String, user_id String, amount Float64, created_at DateTime ) ENGINE = ReplicatedMergeTree() PARTITION BY amount ORDER BY (transaction_id); CREATE TABLE raw.transactions ON CLUSTER cluster_4x2 ( transaction_id String, user_id String, amount Float64, created_at DateTime ) ENGINE = Distributed('cluster_4x2', 'raw', 'local_transactions', cityHash64(user_id));