Jaký je rozdíl mezi repartition a coalesce v Spark?
Middle
164
Data Engineer
671
0
Úkol #3 Najděte zákazníky, u nichž je rozdíl mezi jejich objednávkami větší než 60 dní. Pro tyto zákazníky zobrazte maximální rozdíl (gap_days). Tabulka objednávek: | order_id | customer_id | order_dt | |----------|-------------|------------| | 1 | 1 | [phone] | | 2 | 1 | [phone] | | 3 | 1 | [phone] | | 4 | 1 | [phone] | | 5 | 2 | [phone] | | 6 | 2 | [phone] | | 7 | 3 | [phone] | Finální výsledek: | customer_id | gap_days | |-------------|----------| | 1 | 123 | | 2 | 120 |
Middle
164
Co se stane, pokud vytvoříte DAG s start_date = 1. ledna 2024?
Middle
162
Jaké jsou nevýhody UDF v Spark a jaké je jejich mínus?
Middle
159
Jak bojovat s nekonzistencí dat?
Middle
154
Pracoval jste s kontextovými manažery v Pythonu? Co jsou a k čemu slouží?
Middle
153
Co víš o spill v Spark?
Middle
152
Jak bys popsal v kódu kontrolu, že hodnota se podstatně liší od normální (očekávané) distribuce?
Middle
151
Proč mohou být data ztracena? Uveďte několik důvodů.
Middle
149
Jak zabránit tomu, aby nesprávná data načtená do vitríny nebo mezitabulky pronikla do vyšších pipelineů?
Middle
145
Jaké způsoby přenosu dat mezi úkoly Airflow znáte?
Middle
145
Pokud je rozvrh DAG @daily, v kolik hodin se skutečně spouští?
Middle
143
Jak jste sledoval kvalitu dat?
Middle
143
Je slovník v Pythonu změnitelný nebo nezměnitelný typ? Jaké jsou požadavky na jeho klíče a hodnoty?
Middle
141
Co dělá parametr depends_on_past v Airflow?
Middle
140
Dělal jsi statistické kontroly?
Middle
135
Jaká je algoritmická složitost hledání ve slovníku v nejhorším případě?
Middle
132
Jak spustit druhý DAG Airflow ihned po úspěšném dokončení prvního?
Middle
129