Data Engineer

Дадени са две таблици t1 и t2. Задачата е да се изброят всички видове join, които знаете, и резултата от заявката select * from t1 <join> t2 on t1.t = t2.t за всеки от тях. |t1.t| ------ 1 2 4 null ------ |t2.t| ------ 1 3 null null cross 1 1 - null null - INNER JOIN [phone] LEFT JOIN 1 - 1 2 - NULL 4 - NULL NULL - NULL RIGHT JOIN [phone] NULL - 3 NULL - NULL NULL - NULL FULL JOIN [phone] - NULL 4 - NULL NULL - 3 null - NULL null - NULL null - NULL

Middle

Купер

Как да парсирате големи XML файлове в ZIP и да ги заредите в ClickHouse с помощта на Python?

Как работеше с аналитичните функции (функции за прозорец)?

Middle

МВидео

Как се чете файл от HDFS, например Parquet — цял или на блокове?

Middle

Aston

Разкажи за себе си — опит в работата, стек от технологии

Middle

СБЕР

Какви са ограниченията при използването на хеш таблици?

Какво отличава HDFS от обикновените разпределени файлови системи?

Middle

Aston

Кои оператори на Airflow използвахте? Как взаимодействахте с dbt чрез Airflow?

Трасировката показва само REST заявки или нещо друго?

Създайте списък с скъпи резервации Въпрос Как можете да създадете списък с резервации за деня [телефон], които ще струват на член (или гост) повече от 30 $? Запомнете, че гостите имат различни разходи от членовете (посочените разходи са за половинчасов 'слот'), и потребителят-гост винаги е ID 0. Включете във вашия изход името на съоръжението, името на члена форматирано като една колона и разходите. Подредете по низходяща стойност и не използвайте подзаявки.

Каква е разликата между UNION и UNION ALL? Какви условия трябва да бъдат изпълнени?

Middle

СБЕР

Какви са недостатъците на MPP архитектурата в Greenplum?

Как работи Merge Join (съединяване с сортиране)?

Middle+

СБЕР

Какъв е смисълът от разделянето на данните на блокове в HDFS?

Middle

Aston

Защо избрахте точно DBT? Какви предимства и недостатъци виждате в този фреймуърк?

Middle+

СБЕР

Как може да се прехвърлят данни от Greenplum и Trino към ClickHouse?

Middle

МВидео

Какви типове таблици използвахте в Greenplum? В кои случаи се използваше heap, а в кои Append-Optimized?

Какви са видовете физически връзки (методи за свързване)?

Какви плюсове и минуси на ACID могат да бъдат посочени, освен скоростта на четене?

Какво бихте искали да правите в нашия екип?