Kas nutiks, jei sukursite DAG su start_date = 2024 m. sausio 1 d.?
Middle
166
Data Engineer
671
0
Užduotis #3 Raskite klientus, kurių užsakymų tarpas yra didesnis nei 60 dienų. Šiems klientams parodykite didžiausią tarpą (gap_days). Užsakymų lentelė: | order_id | customer_id | order_dt | |----------|-------------|------------| | 1 | 1 | [phone] | | 2 | 1 | [phone] | | 3 | 1 | [phone] | | 4 | 1 | [phone] | | 5 | 2 | [phone] | | 6 | 2 | [phone] | | 7 | 3 | [phone] | Galutinis rezultatas: | customer_id | gap_days | |-------------|----------| | 1 | 123 | | 2 | 120 |
Middle
166
Kuo skiriasi repartition ir coalesce Spark?
Middle
164
Kokia yra UDF Spark programoje ir koks jų minusas?
Middle
163
Kaip kovoti su duomenų neatitikimu?
Middle
158
Ar dirbote su kontekstų valdytojais Python? Kas jie yra ir kam skirti?
Middle
153
Ką žinote apie spill Spark?
Middle
152
Kaip apibūdintum kode patikrinimą, ar reikšmė reikšmingai skiriasi nuo įprastos (laukiamos) paskirstymo?
Middle
151
Kodėl duomenys gali būti prarasti? Pateikite keletą priežasčių.
Middle
149
Kaip užkirsti kelią neteisingų duomenų įkėlimui į vitriną ar tarpinę lentelę ir jų patekimui į aukštesnius pipeline'us?
Middle
145
Kokius duomenų perdavimo būdus žinote tarp Airflow užduočių?
Middle
145
Jei DAG tvarkaraštis yra @daily, kada jis iš tikrųjų pradeda veikti?
Middle
143
Kaip stebėjote duomenų kokybę?
Middle
143
Ar Python'o žodynas yra keičiamas ar nekintamas tipas? Kokie reikalavimai yra jo raktams ir reikšmėms?
Middle
141
Ką daro parametras depends_on_past Airflow?
Middle
140
Ar atlikote statistinius patikrinimus?
Middle
135
Kokia yra paieškos žodyne sudėtingumo algoritminė sudėtingumas blogiausiu atveju?
Middle
132
Kaip paleisti antrąjį Airflow DAG iškart po pirmojo sėkmingo užbaigimo?
Middle
131