Sobes.tech

Data Engineer

Čo sa stane, ak vytvoríte DAG s start_date = 1. januára 2024?

168

Úloha #3 Je potrebné nájsť zákazníkov, u ktorých je rozdiel medzi ich objednávkami väčší ako 60 dní. Pre týchto zákazníkov zobrazte maximálny rozdiel (gap_days). Tabuľka objednávok: | order_id | customer_id | order_dt | |----------|-------------|------------| | 1 | 1 | [phone] | | 2 | 1 | [phone] | | 3 | 1 | [phone] | | 4 | 1 | [phone] | | 5 | 2 | [phone] | | 6 | 2 | [phone] | | 7 | 3 | [phone] | Konečný výsledok: | customer_id | gap_days | |-------------|----------| | 1 | 123 | | 2 | 120 |

166

Aký je rozdiel medzi repartition a coalesce v Spark?

166

Ako by si v kóde opísal kontrolu, že hodnota sa významne odlišuje od normálneho (očakávaného) rozdelenia?

155

Prečo môžu byť údaje stratené? Uveďte niekoľko dôvodov.

153

Pracoval ste s kontextovými manažérmi v Pythone? Čo sú a na čo slúžia?

153

Ako zabránite, aby sa nesprávne údaje nahrané do vitríny alebo medzi-tabulky dostali do vyšších pipeline-ov?

151

Aké spôsoby prenosu dát medzi úlohami Airflow poznáte?

149

Ak je rozvrh DAG @daily, kedy sa skutočne spúšťa?

145

Je slovník v Pythone zmeniteľný alebo nezmeniteľný typ? Aké sú požiadavky na jeho kľúče a hodnoty?

143

Aká je algoritmická zložitosť vyhľadávania v slovníku v najhoršom prípade?

134

Ako spustiť druhý DAG v Airflow ihneď po úspešnom dokončení prvého?

133
/2