Spark-та жаңы иш түзүүнүн триггери эмне жана иш Stage жана Tasksка кантип бөлүнөт?
Data Engineer
Nested Loop Join кантип иштейт жана анын алгоритмдик татаалдыгы кандай? Үч алгоритмдин татаалдыгы кандай?
Spark архитектурасынын түзүлүшү жөнүндө жалпы түшүндүрүңүз: кайсы компоненттер бар жана алар SQL суроо-талапты аткарууда кандайча өз ара аракеттенет.
Партициялоо деген эмне? Шардинг деген эмне? Репликация деген эмне?
SELECT client_id, ФИО, SUM(suma) AS total_amount FROM clients JOIN transactions ON clients.client_id = transactions.client_id WHERE дата = '2025-05-01' GROUP BY client_id, ФИО;
## мода маселеси # Саналардын тизмеси бар. Бул тизмедеги моданы табуучу функция жаз. # find_mode([1, 2, 3, 3, 4, 5]) #> 3
Эгер биз WHERE (сол жактан LEFT JOINден кийин) транзакциянын датасы боюнча фильтр шартын коюп жатсак, ал биринчи таблицага (кардарларга) натыйжаны чектейби?
-- t1 -- num --------- -- 1 -- 2 2 null null 4 -- t2 -- num --------- -- [телефон] null null 5 Таңдау a.num Кимa a_num, b.num Кимa b_num t1 дан a сол JOIN t2 b ON a.num = b.num;
find_mode функциясы [1, 2, 3, 3, 4, 5] тизмеси үчүн эмне кайтарат? Адым-адам түшүндүр.
Партициялоо менен шарддоо кандай айырмаланат?
Parquet сактоо форматы менен CSV арасындагы айырма эмне?
Маалымат бериңиз, сиз кай жана кайда системалык аналитик болуп иштегенсиз жана кандай тапшырмаларды аткардыңыз?
Маалыматтар тарыхын сактоо үчүн кандай ыкмалар (түптөр) билесиз? Тизмелерде тарых кантип топтолуп жатат?
Маалыматтын сапатын текшерүүлөрдү өзүңүз жүргүздүңүзбү, же талаптар бизнес/кардарлардан келдиби?
Greenplum-та бөлүштүрүү талаасын туура аныктоо үчүн эмне кылуу керек? Motion учурунда эмне болот?
Эмне иш форматы сиз үчүн ыңгайлуу — кеңсе, гибрид же алыстан иштөө? Бизде эки кеңсе бар, Кутузовский жана Тулада.
Spark'ta AQE (Adaptive Query Execution) оптимизатору менен иштедиңби? Ал кандай иштээрин билесиңби?
Sparkта кандай физикалык JOIN түрлөрү бар?
Тек баштоо датасы белгилүү болсо, ар бир кардар үчүн акыркы толук атыңызды кантип чыгарасыз (аяктоо датасы белгисиз)?
Терезе функциясынын чегинде UNBOUNDED PRECEDING эмне деп аталат?