Sobes.tech

Data Engineer

Kas notiks, ja izveidosiet DAG ar start_date = 2024. gada 1. janvāri?

168

Kāda ir atšķirība starp repartition un coalesce Spark?

168

Uzdevums #3 Jāatrod klienti, kuru pasūtījumu starpība ir lielāka par 60 dienām. Šiem klientiem jāparāda maksimālā starpība (gap_days). Pasūtījumu tabula: | order_id | customer_id | order_dt | |----------|-------------|------------| | 1 | 1 | [phone] | | 2 | 1 | [phone] | | 3 | 1 | [phone] | | 4 | 1 | [phone] | | 5 | 2 | [phone] | | 6 | 2 | [phone] | | 7 | 3 | [phone] | Galarezultāts: | customer_id | gap_days | |-------------|----------| | 1 | 123 | | 2 | 120 |

166

Kā tu raksturotu kodā pārbaudi, vai vērtība būtiski atšķiras no normālas (gaidāmās) sadalījuma?

155

Kāpēc dati var tikt zaudēti? Sniedziet dažus iemeslus.

153

Vai esat strādājis ar konteksta pārvaldniekiem Python? Kas tie ir un kam tie ir paredzēti?

153

Kā novērst nepareizus datus, kas ielādēti vitrinā vai starpposma tabulā, nonākšanu augstākajos pipeline'os?

151

Kādus datu pārraides veidus starp Airflow uzdevumiem jūs zināt?

149

Vai Python vārdnīca ir maināms vai nemaināms tips? Kādi ir tās atslēgu un vērtību prasības?

143

Kāda ir meklēšanas vārdnīcas algoritmiskā sarežģītība sliktākajā gadījumā?

134

Kā uzsākt otro Airflow DAG tieši pēc pirmā veiksmīga pabeigšanas?

133
/2