Čo je spúšťačom pre vytvorenie novej úlohy v Spark a ako sa úloha delí na Stages a Tasks?
Data Engineer
Ako funguje Nested Loop Join a aká je jeho algoritmická zložitosť? Aká je zložitosť všetkých troch algoritmov?
Vysvetli všeobecne, ako je navrhnutá architektúra Spark: aké komponenty existujú a ako spolu komunikujú pri vykonávaní SQL dotazu.
Čo je to partíciovanie? Čo je to sharding? Čo je to replikácia?
SELECT client_id, ФИО, SUM(suma) AS total_amount FROM clients JOIN transactions ON clients.client_id = transactions.client_id WHERE дата = '2025-05-01' GROUP BY client_id, ФИО;
Ak nastavíme podmienku filtrovania podľa dátumu transakcie v WHERE (po LEFT JOIN), obmedzí to výsledok v prvej tabuľke (zákazníci)?
## otázka na mód # Existuje zoznam čísel. Napíšte funkciu, ktorá nájde mód tohto zoznamu. # find_mode([1, 2, 3, 3, 4, 5]) #> 3
Čo vráti funkcia find_mode pre zoznamu [1, 2, 3, 3, 4, 5]? Vysvetli krok za krokom.
-- t1 -- num --------- -- 1 -- 2 2 null null 4 -- t2 -- num --------- -- [telefón] null null 5 VYBER a.num AKO a_num, b.num AKO b_num Z t1 a ĽAVÉ PRIPOJENIE t2 b ON a.num = b.num;
Povedz mi, kde si pracoval ako systémový analytik a aké úlohy si vykonával?
V čom sa líši formát ukladania Parquet od CSV?
Aký je rozdiel medzi partíciou a shardingom?
Kontroly kvality dát ste vykonával sami, alebo požiadavky prichádzali od biznisu/klientov?
Aké metódy (typy) ukladania histórie údajov poznáš? Ako sa histórie zhromažďuje v tabuľkách?
Aký formát práce je pre vás najpohodlnejší — kancelária, hybrid alebo vzdialená práca? Máme dve kancelárie, na Kutuzovskom a v Tule.
Pracoval ste niekedy s optimalizátorom AQE (Adaptive Query Execution) v Spark? Viete, ako funguje?
Aké typy fyzických JOIN-ov existujú v Spark?
Ako správne určiť pole distribúcie v Greenplum? Čo sa deje pri Motion?
Ako zobraziť posledné celé meno pre každého klienta, ak je známy iba začiatok dátumu (koniec dátuma nie je známy)?
Aký fyzický mechanizmus JOIN bude použitý pri spojení tabuľky transakcií s tabuľkou kalendára podľa podmienky nerovnosti (dátum <= dátum)?