Sobes.tech

Data Engineer

Sparkтагы UDFлердин жаман жактары эмнеде жана алардын кемчилиги эмнеде?

167

Мижоздорду табуу керек, алардын заказдарынын ортосундагы аралык > 60 күн. Бул мижоздор үчүн эң чоң аралыкты (gap_days) көрсөтүңүз. Заказдар таблицасы: | order_id | customer_id | order_dt | |----------|-------------|------------| | 1 | 1 | [phone] | | 2 | 1 | [phone] | | 3 | 1 | [phone] | | 4 | 1 | [phone] | | 5 | 2 | [phone] | | 6 | 2 | [phone] | | 7 | 3 | [phone] | Жыйынтык: | customer_id | gap_days | |-------------|----------| | 1 | 123 | | 2 | 120 |

166

Маалыматтардын шайкешсиздигине каршы кантип күрөшүү керек?

164

Spark'ta repartition жана coalesce арасындагы айырма эмнеде?

164

Коддо кандайча маанилүү айырмаланганын текшерүүнү сүрөттөйсүз, нормалдуу (күтүлгөн) бөлүштүрүүдөн?

153

Sparkтеги spill жөнүндө эмне билесиз?

153

Маалыматтар эмне үчүн жоголушу мүмкүн? Бир нече себептерди келтириңиз.

153

Pythonдо контекст менеджерлер менен иштедиңизби? Алар эмне жана эмне үчүн керек?

153

Кандай алдын алса болот, туура эмес маалыматтар витринага же аралык таблицага жүктөлүп, жогорку пайплайндарга өтпөсүн?

151

Airflow тапшырмаларынын ортосунда маалыматтарды өткөрүүнүн кандай жолдорун билесиз?

147

Маалыматтардын сапатын кантип көзөмөлдөйтүңүз?

145

Airflowдеги depends_on_past параметри эмне кылат?

144

Pythonдеги сөздүк өзгөрүлмө же өзгөрүлбөс түрүбү? Анын ачкычтары жана маанилери үчүн кандай талаптар бар?

143

Эгер DAGтин графиги @daily болсо, ал чын эле качан ишке кирет?

143

Статистикалык текшерүүлөрдү жасадыңызбы?

135

Airflow-дун биринчи ийгиликтүү аяктагандан кийин экинчи DAG-ты кантип ишке киргизсе болот?

133

Сөздүктөгү издөө эң жаман учурдагы алгоритмдик татаалдыгы кандай?

132
/2