De ce cauți acum un loc de muncă nou, vrei să schimbi locul de muncă?
Data Engineer
Ce este un CROSS JOIN? Ai lucrat cu așa ceva?
La ce salariu te aștepți?
Se pot citi datele în paralel dintr-un singur fișier Parquet în Spark, sau doar cu un singur nucleu într-o sarcină?
Dacă unești tranzacțiile cu clienții după client_id și date_start (fără BETWEEN), ce va fi capturat în rezultat?
Vorbește despre câteva dintre cele mai importante sarcini ale tale legate de calitatea datelor.
Spune-mi despre tine — experiență de muncă, stivă de tehnologii
Ce tipuri de JOIN cunoști? (logice)
Care sunt avantajele și dezavantajele bazelor de date pe rând și pe coloană? Care este mai eficient pentru grupare și agregare?
Vorbește-mi despre înțelegerea ta asupra calității datelor — ai experiență în acest domeniu?
Ce JOIN-uri fizice cunoști?
-- Tabela datată numbers cu o coloană num (numere întregi, care pot fi repetate). -- Scrieți o interogare SQL care să împartă numerele în două coloane: -- even – numere pare (ordonat crescător) -- odd – numere impare (ordonat crescător) -- Numerele trebuie să fie aranjate rând cu rând: în primul rând – primul număr par și primul număr impar, -- în al doilea rând – al doilea număr par și al doilea număr impar etc. -- Dacă într-un grup sunt mai multe numere decât în celălalt, locurile lipsă trebuie să fie NULL. -- tabelul original -- num -- --------- -- [phone] -- rezultatul interogării -- even | odd -- -----|----- -- 2 | 1 -- 4 | 3 -- 6 | 5 -- 8 | 7 -- 10 | 9 -- NULL | 11 -- NULL | 11
Care poate fi numărul maxim și minim de rânduri în rezultat la INNER JOIN și LEFT JOIN ale acestor tabele, având T1 10 rânduri și T2 5 rânduri, ambele cu câmpul ID?
Dacă pe executor sunt 10 nuclee, câte task-uri vor fi executate în paralel la un moment dat?
Ce este LEFT SEMI JOIN și LEFT ANTI JOIN în Spark SQL, a fost nevoie să le folosiți vreodată?
Descrie funcțiile de fereastră în cea mai extinsă formă posibilă: ce cuvinte cheie sunt utilizate și pentru ce servește fiecare.
Ai lucrat cu vitrine de date (stratul DWH)?
Ce va returna funcția find_mode pentru lista [1, 2, 3, 3, 4, 5]? Explică pas cu pas.
Explică pe scurt cum este structurată arhitectura Spark: ce componente există și cum interacționează în timpul executării unei interogări SQL.
-- t1 -- num --------- -- 1 -- 2 2 null null 4 -- t2 -- num --------- -- [telefon] null null 5 SELECT a.num CAUTĂ a_num, b.num CAUTĂ b_num DIN t1 a JOIN stânga t2 b PE a.num = b.num;