Неге bool([""]) True кайтарат?
Data Engineer
Sparkтагы UDFлердин жаман жактары эмнеде жана алардын кемчилиги эмнеде?
Мижоздорду табуу керек, алардын заказдарынын ортосундагы аралык > 60 күн. Бул мижоздор үчүн эң чоң аралыкты (gap_days) көрсөтүңүз. Заказдар таблицасы: | order_id | customer_id | order_dt | |----------|-------------|------------| | 1 | 1 | [phone] | | 2 | 1 | [phone] | | 3 | 1 | [phone] | | 4 | 1 | [phone] | | 5 | 2 | [phone] | | 6 | 2 | [phone] | | 7 | 3 | [phone] | Жыйынтык: | customer_id | gap_days | |-------------|----------| | 1 | 123 | | 2 | 120 |
Маалыматтардын шайкешсиздигине каршы кантип күрөшүү керек?
Spark'ta repartition жана coalesce арасындагы айырма эмнеде?
Коддо кандайча маанилүү айырмаланганын текшерүүнү сүрөттөйсүз, нормалдуу (күтүлгөн) бөлүштүрүүдөн?
Sparkтеги spill жөнүндө эмне билесиз?
Маалыматтар эмне үчүн жоголушу мүмкүн? Бир нече себептерди келтириңиз.
Pythonдо контекст менеджерлер менен иштедиңизби? Алар эмне жана эмне үчүн керек?
Кандай алдын алса болот, туура эмес маалыматтар витринага же аралык таблицага жүктөлүп, жогорку пайплайндарга өтпөсүн?
Airflow тапшырмаларынын ортосунда маалыматтарды өткөрүүнүн кандай жолдорун билесиз?
Маалыматтардын сапатын кантип көзөмөлдөйтүңүз?
Airflowдеги depends_on_past параметри эмне кылат?
Pythonдеги сөздүк өзгөрүлмө же өзгөрүлбөс түрүбү? Анын ачкычтары жана маанилери үчүн кандай талаптар бар?
Эгер DAGтин графиги @daily болсо, ал чын эле качан ишке кирет?
Статистикалык текшерүүлөрдү жасадыңызбы?
Airflow-дун биринчи ийгиликтүү аяктагандан кийин экинчи DAG-ты кантип ишке киргизсе болот?
Сөздүктөгү издөө эң жаман учурдагы алгоритмдик татаалдыгы кандай?