De ce bool([""]) returnează True?
Data Engineer
Problema #3 Trebuie să găsim clienții ale căror intervale între comenzi sunt mai mari de 60 de zile. Pentru acești clienți, afișați diferența maximă (gap_days). Tabelul comenzi: | order_id | customer_id | order_dt | |----------|-------------|------------| | 1 | 1 | [phone] | | 2 | 1 | [phone] | | 3 | 1 | [phone] | | 4 | 1 | [phone] | | 5 | 2 | [phone] | | 6 | 2 | [phone] | | 7 | 3 | [phone] | Rezultatul final: | customer_id | gap_days | |-------------|----------| | 1 | 123 | | 2 | 120 |
Care sunt dezavantajele UDF-urilor în Spark și care este cel mai mare dezavantaj al lor?
Care este diferența dintre repartition și coalesce în Spark?
Cum să luptăm cu inconsistența datelor?
De ce pot fi pierdute datele? Oferă câteva motive.
Cum ai descrie în cod o verificare dacă o valoare diferă semnificativ de o distribuție normală (așteptată)?
Ai lucrat cu gestionarii de context în Python? Ce sunt și pentru ce sunt folosiți?
Ce știi despre spill în Spark?
Cum să împiedici ca datele incorecte încărcate în vitrină sau în tabelul intermediar să ajungă la pipeline-urile superioare?
Ce metode de transfer de date între sarcinile Airflow cunoști?
Cum monitorizai calitatea datelor?
Ce face parametrul depends_on_past în Airflow?
Dacă programarea DAG este @daily, la ce oră se pornește efectiv?
Dictionarul în Python este un tip modificabil sau nemodificabil? Care sunt cerințele pentru cheile și valorile sale?
Ai făcut verificări statistice?
Care este complexitatea algoritmică a căutării într-un dicționar în cel mai rău caz?
Cum porni al doilea DAG Airflow imediat după finalizarea cu succes a primului?