Zašto bool([""]) vraća True?
Data Engineer
Zadatak #3 Potražite klijente kod kojih je razmak između narudžbi veći od 60 dana. Za te klijente prikazati maksimalni razmak (gap_days). Tabela narudžbi: | order_id | customer_id | order_dt | |----------|-------------|------------| | 1 | 1 | [phone] | | 2 | 1 | [phone] | | 3 | 1 | [phone] | | 4 | 1 | [phone] | | 5 | 2 | [phone] | | 6 | 2 | [phone] | | 7 | 3 | [phone] | Konačni rezultat: | customer_id | gap_days | |-------------|----------| | 1 | 123 | | 2 | 120 |
Koje su mane UDF u Spark-u i koja je njihova mana?
Koja je razlika između repartition i coalesce u Spark?
Kako se boriti sa nekonzistentnošću podataka?
Zašto podaci mogu biti izgubljeni? Navedi nekoliko razloga.
Kako bi opisao u kodu proveru da li se vrednost značajno razlikuje od normalne (očekivane) raspodele?
Da li ste radili sa menadžerima konteksta u Pythonu? Šta su i čemu služe?
Šta znaš o spill-u u Spark-u?
Kako sprečiti da netačni podaci učitani u vitrin ili međuspremnu tabelu dođu do viših pipeline-ova?
Koje načine prenosa podataka između zadataka u Airflow-u poznajete?
Kako ste pratili kvalitet podataka?
Šta radi parametar depends_on_past u Airflow-u?
Ako je raspored DAG @daily, у које време се он заправо покреће?
Da li je rečnik u Pythonu promenljivog ili nepromenljivog tipa? Koji su zahtevi za njegove ključeve i vrednosti?
Да ли си радио статистичке провере?
Која је алгоритамска сложеност претраге у речнику у најгорем случају?
Kako pokrenuti drugi DAG u Airflow odmah nakon uspešnog završetka prvog?