Kāpēc bool([""]) atgriež True?
Data Engineer
Kas notiks, ja izveidosiet DAG ar start_date = 2024. gada 1. janvāri?
Kāda ir atšķirība starp repartition un coalesce Spark?
Kā cīnīties ar datu neatbilstību?
Uzdevums #3 Jāatrod klienti, kuru pasūtījumu starpība ir lielāka par 60 dienām. Šiem klientiem jāparāda maksimālā starpība (gap_days). Pasūtījumu tabula: | order_id | customer_id | order_dt | |----------|-------------|------------| | 1 | 1 | [phone] | | 2 | 1 | [phone] | | 3 | 1 | [phone] | | 4 | 1 | [phone] | | 5 | 2 | [phone] | | 6 | 2 | [phone] | | 7 | 3 | [phone] | Galarezultāts: | customer_id | gap_days | |-------------|----------| | 1 | 123 | | 2 | 120 |
Kā tu raksturotu kodā pārbaudi, vai vērtība būtiski atšķiras no normālas (gaidāmās) sadalījuma?
Kāpēc dati var tikt zaudēti? Sniedziet dažus iemeslus.
Ko jūs zināt par spill Spark?
Vai esat strādājis ar konteksta pārvaldniekiem Python? Kas tie ir un kam tie ir paredzēti?
Kā novērst nepareizus datus, kas ielādēti vitrinā vai starpposma tabulā, nonākšanu augstākajos pipeline'os?
Ko dara depends_on_past parametrs Airflow?
Kādus datu pārraides veidus starp Airflow uzdevumiem jūs zināt?
Kā jūs uzraudzījāt datu kvalitāti?
Ja DAG grafiks ir @daily, kad tas faktiski sākas?
Vai Python vārdnīca ir maināms vai nemaināms tips? Kādi ir tās atslēgu un vērtību prasības?
Vai veicāt statistiskas pārbaudes?
Kāda ir meklēšanas vārdnīcas algoritmiskā sarežģītība sliktākajā gadījumā?
Kā uzsākt otro Airflow DAG tieši pēc pirmā veiksmīga pabeigšanas?