Чӣ тавр оғозёбии кор дар Spark барои сохтани Job нав ва чӣ гуна Job ба Stages ва Tasks тақсим мешавад?
Data Engineer
Чӣ тавр кор мекунад пайванди Nested Loop ва чӣ гуна аст мушкилоти алгоритмӣ? Мушкилоти ҳамаи се алгоритм чӣ гуна аст?
Тавзеҳ диҳед ба таври умумӣ, чӣ гуна сохтори архитектураи Spark аст: кадом компонентҳо мавҷуданд ва онҳо чӣ гуна дар иҷрои дархости SQL ҳамкорӣ мекунанд.
Партициронинг чист? Шардинг чист? Репликация чист?
SELECT client_id, ФИО, SUM(suma) AS total_amount FROM clients JOIN transactions ON clients.client_id = transactions.client_id WHERE дата = '2025-05-01' GROUP BY client_id, ФИО;
Агар мо шартро дар WHERE (пас аз LEFT JOIN) дар бораи санаи транзаксия гузорем, оё ин натиҷаи ҷадвали аввалро (муштариён) маҳдуд мекунад?
## масъалаи мода # Листи ададҳо вуҷуд дорад. Функсия нависед, ки модаи ин листро пайдо кунад. # find_mode([1, 2, 3, 3, 4, 5]) #> 3
Функсияи find_mode барои рӯйхати [1, 2, 3, 3, 4, 5] чӣ бармегардонад? Қадам ба қадам шарҳ диҳед.
-- t1 -- num --------- -- 1 -- 2 2 null null 4 -- t2 -- num --------- -- [телефон] null null 5 Танланг a.num Кими a_num, b.num Кими b_num t1 дан а Ҷониб JOIN t2 b ON a.num = b.num;
Меълумот диҳед, ки дар куҷо ҳамчун таҳлилгари системӣ кор кардаед ва кадом вазифаҳоро иҷро кардаед?
Формати нигоҳдории Parquet ва CSV чӣ фарқ дорад?
Фарқи партиционирование ва шардирование чист?
Омӯзиши сифатии маълумотҳоро шумо худ анҷом додед ё талаботҳо аз ҷониби бизнес/моликон омаданд?
Кадом усулҳо (навъҳо) барои нигоҳдории таърихи маълумотҳоро медонӣ? Чӣ гуна таърих дар ҷадвалҳо ҷамъ мешавад?
Кадом формати корӣ барои шумо қулайтар аст — идора, гибрид ё дур? Мо ду идора дорем, дар Кутузовский ва Тула.
Оё то ҳол бо оптимизатори AQE (Иҷрои Пурсиши Адаптивӣ) дар Spark кор кардаед? Медонед, ки чӣ гуна кор мекунад?
Дар Spark кадом намудҳои JOIN-и физикӣ мавҷуданд?
Чӣ тавр бояд майдони тақсимотро дар Greenplum дуруст муайян кард? Дар Motion чӣ рӯй медиҳад?
Чӣ гуна метавон номи пурраи охирин барои ҳар як муштариро нишон дод, агар танҳо санаи оғоз маълум бошад (санаи охир маълум нест)?
Кадом механизмии физикии JOIN дар пайваст кардани ҷадвали транзаксияҳо бо ҷадвали тақвим бо шарти нобаробарӣ (сана <= сана) истифода мешавад?