Waarom geeft bool([""]) True?
Data Engineer
Taak #3 We moeten klanten vinden waarvan het verschil tussen hun bestellingen groter is dan 60 dagen. Voor deze klanten, toon de maximale kloof (gap_days). Bestel tabel: | order_id | customer_id | order_dt | |----------|-------------|------------| | 1 | 1 | [phone] | | 2 | 1 | [phone] | | 3 | 1 | [phone] | | 4 | 1 | [phone] | | 5 | 2 | [phone] | | 6 | 2 | [phone] | | 7 | 3 | [phone] | Eindresultaat: | customer_id | gap_days | |-------------|----------| | 1 | 123 | | 2 | 120 |
Wat zijn de nadelen van UDF's in Spark en wat is hun grootste minpunt?
Hoe om te gaan met gegevensonzekerheid?
Wat is het verschil tussen repartition en coalesce in Spark?
Hoe zou je in code controleren dat een waarde significant afwijkt van een normale (verwachte) verdeling?
Waarom kunnen gegevens verloren gaan? Geef enkele redenen.
Heb je met context managers in Python gewerkt? Wat zijn ze en waar zijn ze voor?
Wat weet je over spill in Spark?
Hoe voorkom je dat onjuiste gegevens die in de vitrine of tussenliggende tabel zijn geladen, in de hogere pipelines terechtkomen?
Welke methoden voor gegevensoverdracht tussen Airflow-taken ken je?
Hoe hield je de kwaliteit van de gegevens bij?
Wat doet de parameter depends_on_past in Airflow?
Als de planning van de DAG @daily is, hoe laat wordt deze dan daadwerkelijk gestart?
Is de woordenboek in Python een wijzigbaar of onveranderlijk type? Wat zijn de vereisten voor de sleutels en waarden?
Heb je statistische controles gedaan?
Hoe start je de tweede DAG van Airflow direct nadat de eerste succesvol is voltooid?
Wat is de algoritmische complexiteit van zoeken in een woordenboek in het slechtste geval?