Miks bool([""]) tagastab True?
Data Engineer
Ülesanne #3 Leia kliendid, kelle tellimuste vahe on suurem kui 60 päeva. Näidake nende klientide jaoks suurim vahe (gap_days). Tellimustabel: | order_id | customer_id | order_dt | |----------|-------------|------------| | 1 | 1 | [phone] | | 2 | 1 | [phone] | | 3 | 1 | [phone] | | 4 | 1 | [phone] | | 5 | 2 | [phone] | | 6 | 2 | [phone] | | 7 | 3 | [phone] | Lõplik tulemus: | customer_id | gap_days | |-------------|----------| | 1 | 123 | | 2 | 120 |
Mis on UDF Sparkis ja mis on nende miinus?
Mis vahe on repartition ja coalesce vahel Sparkis?
Kuidas võidelda andmete ebakõla vastu?
Miks andmed võivad kaduda? Anna mõned põhjused.
Kuidas kirjeldaksid koodis kontrolli, et väärtus oluliselt erineb normaaljaotusest (oodatavast)?
Kas oled töötanud Pythonis kontekstihalduritega? Mis need on ja milleks nad on vajalikud?
Mida sa tead spill kohta Sparkis?
Kuidas takistada valeandmete laadimist vitriini või vaheandmebaasi ja nende jõudmist kõrgematesse pipeline'idesse?
Milliseid andmeedastusviise teate Airflow ülesannete vahel?
Kuidas jälgisite andmete kvaliteeti?
Mida teeb depends_on_past parameeter Airflow's?
Kui DAG-i ajakava on @daily, millal see tegelikult käivitub?
Kas on Pythonis sõnastik muudetav või muutumatu tüüp? Millised on selle võtmete ja väärtuste nõuded?
Kas tegi statistilisi kontrollereid?
Mis on sõnastiku otsimise algoritmiline keerukus halvimates tingimustes?
Kuidas käivitada teine DAG Airflow's kohe pärast esimese edukat lõpetamist?