Какви видове физическо свързване на таблици съществуват (Hash Join, Merge Join, Nested Loop)?
Data Engineer
На каква заплата очакваш?
Работили ли сте с витрини за данни (слой DWH)?
Разкажи за някои от най-важните си задачи, свързани с качеството на данните.
Какво е CROSS JOIN? Работили ли сте с такъв?
Ако съедините транзакции с клиенти по client_id и date_start (без BETWEEN), какво ще бъде уловено в резултата?
Защо сега търсиш нова работа, искаш ли да смениш работата си?
Какви типове JOIN знаете? (логически)
Може ли да се чете паралелно данни от един Parquet файл в Spark, или само с едно ядро в една задача?
Какви са предимствата и недостатъците на базите данни с редове и колони? Кое е по-ефективно за групиране и агрегация?
Разкажи за себе си — опит в работата, стек от технологии
Ако на изпълнителя има 10 ядра, колко задачи ще се изпълняват паралелно в даден момент?
Опишете оконните функции в най-разширен вид: кои ключови думи се използват и за какво отговаря всяка.
-- Дадена таблица numbers с една колона num (цяли числа, които могат да се повтарят). -- Напишете SQL заявка, която разделя числата на две колони: -- even – четни числа (подредени във възходящ ред) -- odd – нечетни числа (подредени във възходящ ред) -- Числата трябва да се разполагат ред по ред: в първия ред – първото четно и първото нечетно, -- във втория ред – второто четно и второто нечетно и т.н. -- Ако в една група има повече числа, отколкото в другата, липсващите места трябва да са NULL. -- оригинална таблица -- num -- --------- -- [phone] -- резултат от заявката -- even | odd -- -----|----- -- 2 | 1 -- 4 | 3 -- 6 | 5 -- 8 | 7 -- 10 | 9 -- NULL | 11 -- NULL | 11
Разкажи ми за разбирането ти за качеството на данните — имал ли си опит с тази област?
Как работи Nested Loop Join и каква е неговата алгоритмична сложност? Каква е сложността на трите алгоритъма?
Какво е индекс? Каква е разликата между кластеризиран и некластеризиран индекс?
Кои физически JOIN-ове знаеш?
Обяснете на високо ниво как е структурирана архитектурата на Spark: кои компоненти съществуват и как взаимодействат при изпълнение на SQL заявка.
Какво е LEFT SEMI JOIN и LEFT ANTI JOIN в Spark SQL, сте ги използвали някога?