Неге bool([""]) шын мәнінде True қайтару керек?
Data Engineer
Spark-те repartition пен coalesce арасындағы айырмашылық неде?
Қандай болар еді, егер start_date = 2024 жылдың 1 қаңтарымен DAG құрастырсаңыз?
Тапсырма #3 Тапсырыс арасындағы айырмашылық 60 күннен асатын клиенттерді табу. Осы клиенттер үшін ең үлкен айырмашылықты (gap_days) шығарыңыз. Тапсырыс кестесі: | order_id | customer_id | order_dt | |----------|-------------|------------| | 1 | 1 | [phone] | | 2 | 1 | [phone] | | 3 | 1 | [phone] | | 4 | 1 | [phone] | | 5 | 2 | [phone] | | 6 | 2 | [phone] | | 7 | 3 | [phone] | Соңғы нәтиже: | customer_id | gap_days | |-------------|----------| | 1 | 123 | | 2 | 120 |
Деректердің сәйкессіздігін қалай жоюға болады?
Spark-те spill туралы не білесіз?
Құндылықтың қалыпты (күтілген) таралымнан айтарлықтай айырмашылығын кодта қалай тексересіз?
Деректер неге жоғалуы мүмкін? Кейбір себептерін келтір.
Python-да контекст басқарушыларымен жұмыс жасадыңыз ба? Олар не және олар не үшін пайдаланылады?
Қате деректер витринаға немесе аралық кестеге жүктелсе, оларды жоғары деңгейлі құбырларға қалай жібермеуге болады?
Airflow-те depends_on_past параметрі не істейді?
Airflow тапсырмалары арасында деректерді тасымалдаудың қандай әдістерін білесіз?
Егер DAG кестесі @daily болса, ол нақты қашан іске қосылады?
Деректер сапасын қалай бақылап отырасыз?
Python-дағы сөздік өзгермелі ме, әлде өзгермейтін ме? Оның кілттері мен мәндеріне қандай талаптар қойылады?
Статистикалық тексерулер жасадыңыз ба?
Сөздік бойынша іздеудің ең нашар жағдайда алгоритмдік күрделілігі қандай?
Бірінші DAG сәтті аяқталғаннан кейін екінші Airflow DAG-ты қалай іске қосуға болады?