Hogyan működik a Nested Loop Join, és mi az algoritmikus összetettsége? Mekkora az összes három algoritmus összetettsége?
Data Engineer
Mi indítja egy új Job létrehozását a Spark-ben, és hogyan oszlik a Job Stages és Tasks-ra?
Magyarázd el általánosságban, hogyan épül fel a Spark architektúrája: milyen komponensek vannak, és hogyan működnek együtt az SQL lekérdezés végrehajtásakor.
Mi az a partícionálás? Mi az a sharding? Mi az a replikáció?
SELECT client_id, ФИО, SUM(suma) AS total_amount FROM clients JOIN transactions ON clients.client_id = transactions.client_id WHERE дата = '2025-05-01' GROUP BY client_id, ФИО;
Ha WHERE (bal LEFT JOIN után) tranzakció dátuma szerint szűrőfeltételt állítunk be, ez korlátozza az első táblázat (ügyfelek) eredményét?
## mód kérdés # Van egy számokból álló lista. Írjon egy függvényt, amely megtalálja ennek a listának a módját. # find_mode([1, 2, 3, 3, 4, 5]) #> 3
-- t1 -- num --------- -- 1 -- 2 2 null null 4 -- t2 -- num --------- -- [telefon] null null 5 VÁLASZ a.num MINT a_num, b.num MINT b_num TÁBLÁBÓL t1 a BAL OLDALI CSATLAKOZÁS t2 b ON a.num = b.num;
Mit ad vissza a find_mode függvény a [1, 2, 3, 3, 4, 5] listára? Magyarázd el lépésről lépésre.
Mi a különbség a Parquet tárolási formátum és a CSV között?
Mesélj, hol dolgoztál rendszeranalitikusként, és milyen feladatokat láttál el?
Mi a különbség a partíciózás és a sharding között?
Milyen módszereket (típusokat) ismersz az adatok történetének tárolására? Hogyan halmozódik a történet a táblákban?
Az adatok minőségellenőrzését saját magad végezted, vagy az elvárások az üzlettől/ügyfelektől érkeztek?
Milyen fizikai JOIN típusok léteznek a Spark-ben?
Hogyan határozzuk meg helyesen a disztribúciós mezőt a Greenplum-ban? Mi történik a Motion során?
Melyik munkarend a kényelmesebb számodra — iroda, hibrid vagy távoli? Két irodánk van, a Kutuzovsky és Tula.
Dolgozott már az AQE (Adaptive Query Execution) optimalizálóval Sparkban? Tudja, hogyan működik?
Hogyan lehet megjeleníteni minden ügyfél utolsó teljes nevét, ha csak a kezdő dátum ismert (a végdátum nem ismert)?
Mit jelent az UNBOUNDED PRECEDING az ablakfüggvény határainál?