Sobes.tech

Data Engineer

Taak #3 We moeten klanten vinden waarvan het verschil tussen hun bestellingen groter is dan 60 dagen. Voor deze klanten, toon de maximale kloof (gap_days). Bestel tabel: | order_id | customer_id | order_dt | |----------|-------------|------------| | 1 | 1 | [phone] | | 2 | 1 | [phone] | | 3 | 1 | [phone] | | 4 | 1 | [phone] | | 5 | 2 | [phone] | | 6 | 2 | [phone] | | 7 | 3 | [phone] | Eindresultaat: | customer_id | gap_days | |-------------|----------| | 1 | 123 | | 2 | 120 |

166

Wat zijn de nadelen van UDF's in Spark en wat is hun grootste minpunt?

165

Wat is het verschil tussen repartition en coalesce in Spark?

164

Hoe zou je in code controleren dat een waarde significant afwijkt van een normale (verwachte) verdeling?

153

Waarom kunnen gegevens verloren gaan? Geef enkele redenen.

153

Heb je met context managers in Python gewerkt? Wat zijn ze en waar zijn ze voor?

153

Hoe voorkom je dat onjuiste gegevens die in de vitrine of tussenliggende tabel zijn geladen, in de hogere pipelines terechtkomen?

151

Welke methoden voor gegevensoverdracht tussen Airflow-taken ken je?

147

Als de planning van de DAG @daily is, hoe laat wordt deze dan daadwerkelijk gestart?

143

Is de woordenboek in Python een wijzigbaar of onveranderlijk type? Wat zijn de vereisten voor de sleutels en waarden?

143

Hoe start je de tweede DAG van Airflow direct nadat de eerste succesvol is voltooid?

133

Wat is de algoritmische complexiteit van zoeken in een woordenboek in het slechtste geval?

132
/2