Vai jūs strādājāt ar datu vitrinām (DWH slāni)?
Data Engineer
Ir tabula T1 (10 rindiņas) un tabula T2 (5 rindiņas), abas ar ID lauku. Cik rindas maksimāli un minimāli var būt izvadē, veicot INNER JOIN un LEFT JOIN šo tabulu?
Kādā algā ceries?
Kas ir CROSS JOIN? Vai esat ar to strādājis?
Pastāstiet par dažām no jūsu svarīgākajām uzdevumiem, kas saistīti ar datu kvalitāti.
Kāpēc tu tagad meklē jaunu darbu, vēlies mainīt darbu?
Ko tiks saņemt kā rezultātu, ja apvienosiet darījumus ar klientiem pēc client_id un date_start (bez BETWEEN)?
Kādus JOIN tipus zināt? (loģiski)
Vai Spark var lasīt datus paralēli no viena Parquet faila, vai tikai ar vienu kodolu vienā uzdevumā?
Kādi ir rindas un kolonnas datu bāzu priekšrocības un trūkumi? Kas ir efektīvāk grupēšanai un agregācijai?
Pastāsti par sevi — darba pieredze, tehnoloģiju steks
Aprakstiet logu funkcijas pēc iespējas plašākā formā: kādas galvenās vārdu kombinācijas tiek izmantotas un kam katra no tām ir paredzēta.
Ja executor'ī ir 10 kodoli, cik uzdevumi tiks paralēli vienlaikus?
-- Dotā tabula numbers ar vienu kolonnu num (veseli skaitļi, kuri var atkārtoties). -- Uzrakstiet SQL vaicājumu, kas sadala skaitļus divās kolonnās: -- even – pāra skaitļi (kārtoti augošā secībā) -- odd – nepāra skaitļi (kārtoti augošā secībā) -- Skaitļi jānovieto rindiņā pēc rindiņas: pirmajā rindā – pirmais pāra un pirmais nepāra, -- otrajā rindā – otrais pāra un otrais nepāra, utt. -- Ja vienā grupā ir vairāk skaitļu nekā otrā, trūkstošās vietas jāaizpilda ar NULL. -- sākotnējā tabula -- num -- --------- -- [phone] -- vaicājuma rezultāts -- even | odd -- -----|----- -- 2 | 1 -- 4 | 3 -- 6 | 5 -- 8 | 7 -- 10 | 9 -- NULL | 11 -- NULL | 11
Pastāsti par savu izpratni par datu kvalitāti — vai tev ir pieredze šajā jomā?
Kā darbojas Nested Loop Join un kāda ir tā algoritmiskā sarežģītība? Kāda ir visu trīs algoritmu sarežģītība?
Kas ir indekss? Kā atšķiras klastera indekss no neklausterizētā?
Kādus fiziskos JOIN-us pazīstat?
Kopumā paskaidrojiet, kā ir uzbūvēta Spark arhitektūra: kādi komponenti ir un kā tie sadarbojas, izpildot SQL vaicājumu.
Kādā virzienā būtu interesanti attīstīties: vitrīnās, izstrādē, analīzē, varbūt AI?