Sobes.tech

Data Engineer

Problema #3 Trebuie să găsim clienții ale căror intervale între comenzi sunt mai mari de 60 de zile. Pentru acești clienți, afișați diferența maximă (gap_days). Tabelul comenzi: | order_id | customer_id | order_dt | |----------|-------------|------------| | 1 | 1 | [phone] | | 2 | 1 | [phone] | | 3 | 1 | [phone] | | 4 | 1 | [phone] | | 5 | 2 | [phone] | | 6 | 2 | [phone] | | 7 | 3 | [phone] | Rezultatul final: | customer_id | gap_days | |-------------|----------| | 1 | 123 | | 2 | 120 |

166

Care sunt dezavantajele UDF-urilor în Spark și care este cel mai mare dezavantaj al lor?

165

Care este diferența dintre repartition și coalesce în Spark?

164

Cum ai descrie în cod o verificare dacă o valoare diferă semnificativ de o distribuție normală (așteptată)?

153

Ai lucrat cu gestionarii de context în Python? Ce sunt și pentru ce sunt folosiți?

153

Cum să împiedici ca datele incorecte încărcate în vitrină sau în tabelul intermediar să ajungă la pipeline-urile superioare?

151

Ce metode de transfer de date între sarcinile Airflow cunoști?

147

Dacă programarea DAG este @daily, la ce oră se pornește efectiv?

143

Dictionarul în Python este un tip modificabil sau nemodificabil? Care sunt cerințele pentru cheile și valorile sale?

143

Care este complexitatea algoritmică a căutării într-un dicționar în cel mai rău caz?

132

Cum porni al doilea DAG Airflow imediat după finalizarea cu succes a primului?

131
/2