Čo sa stane, ak vytvoríte DAG s start_date = 1. januára 2024?
Data Engineer
Prečo bool([""]) vracia True?
Ako bojovať s nekonzistenciou údajov?
Úloha #3 Je potrebné nájsť zákazníkov, u ktorých je rozdiel medzi ich objednávkami väčší ako 60 dní. Pre týchto zákazníkov zobrazte maximálny rozdiel (gap_days). Tabuľka objednávok: | order_id | customer_id | order_dt | |----------|-------------|------------| | 1 | 1 | [phone] | | 2 | 1 | [phone] | | 3 | 1 | [phone] | | 4 | 1 | [phone] | | 5 | 2 | [phone] | | 6 | 2 | [phone] | | 7 | 3 | [phone] | Konečný výsledok: | customer_id | gap_days | |-------------|----------| | 1 | 123 | | 2 | 120 |
Aký je rozdiel medzi repartition a coalesce v Spark?
Ako by si v kóde opísal kontrolu, že hodnota sa významne odlišuje od normálneho (očakávaného) rozdelenia?
Čo vieš o spill v Spark?
Prečo môžu byť údaje stratené? Uveďte niekoľko dôvodov.
Pracoval ste s kontextovými manažérmi v Pythone? Čo sú a na čo slúžia?
Ako zabránite, aby sa nesprávne údaje nahrané do vitríny alebo medzi-tabulky dostali do vyšších pipeline-ov?
Aké spôsoby prenosu dát medzi úlohami Airflow poznáte?
Čo robí parameter depends_on_past v Airflow?
Ako ste sledovali kvalitu údajov?
Ak je rozvrh DAG @daily, kedy sa skutočne spúšťa?
Je slovník v Pythone zmeniteľný alebo nezmeniteľný typ? Aké sú požiadavky na jeho kľúče a hodnoty?
Robil si štatistické kontroly?
Aká je algoritmická zložitosť vyhľadávania v slovníku v najhoršom prípade?
Ako spustiť druhý DAG v Airflow ihneď po úspešnom dokončení prvého?