Nested Loop Join qanday ishlaydi va uning algoritmik murakkabligi qanday? Uchta algoritmning murakkabligi qanday?
Data Engineer
Sparkda yangi Job yaratish uchun nima trigger bo'ladi va Job qanday qilib Stages va Tasks ga bo'linadi?
Spark arxitekturasi qanday tuzilganligini umumiy tarzda tushuntiring: qaysi komponentlar mavjud va ular SQL so'rovini bajarishda qanday o'zaro ta'sir qiladi.
Partitsiyalash nima? Sharding nima? Replikatsiya nima?
SELECT client_id, ФИО, SUM(suma) AS total_amount FROM clients JOIN transactions ON clients.client_id = transactions.client_id WHERE дата = '2025-05-01' GROUP BY client_id, ФИО;
## мода масаласи # Рақамлар рўйхати бор. Бу рўйхатнинг модасини топадиган функция ёзинг. # find_mode([1, 2, 3, 3, 4, 5]) #> 3
Agar biz WHERE (chap JOINdan keyin) tranzaksiya sanasi bo'yicha filtr shartini qo'ysak, bu birinchi jadval (mijozlar) natijasini qisqartadimi?
find_mode funktsiyasi [1, 2, 3, 3, 4, 5] ro'yxati uchun nima qaytaradi? Bosqichma-bosqich tushuntiring.
-- t1 -- num --------- -- 1 -- 2 2 null null 4 -- t2 -- num --------- -- [telefon] null null 5 Tanlang a.num Kimi a_num, b.num Kimi b_num t1 dan a Chap JOIN t2 b ON a.num = b.num;
Parquet saqlash formati va CSV o'rtasidagi farq nima?
Menga, tizim tahlilchisi sifatida qayerda ishlaganingiz va qanday vazifalarni bajarganingiz haqida aytib bering.
Partitsiyalash va sharding o'rtasidagi farq nima?
Ma'lumotlar tarixini saqlashning qanday usullari (turlari)ni bilasiz? Jadvalda tarix qanday to'planadi?
Siz ma'lumotlarning sifat tekshiruvlarini o'zingiz amalga oshirdingizmi yoki talablar biznes/klientlardan keldimi?
Greenplumda taqsimlash maydonini qanday to'g'ri aniqlash mumkin? Motion paytida nima bo'ladi?
Sparkda qanday fizik JOIN turlari mavjud?
Oyna funksiyasi chegaralarida UNBOUNDED PRECEDING nima?
Qaysi fizikiy JOIN mexanizmi tranzaksiya jadvali bilan taqvim jadvali bilan teng emaslik sharti bilan (sana <= sana)?
Qaysi ish shakli siz uchun qulayroq — ofis, gibrid yoki masofadan? Bizda ikki ofis bor, Kutuzovskiy va Tula shaharlarida.
Spark'da AQE (Moslashtirilgan So'rovni Ishga Tushirish) optimizatori bilan ishladizmi? U qanday ishlashini bilasizmi?