Warum gibt bool([""]) True zurück?
Data Engineer
Aufgabe #3 Finden Sie Kunden, bei denen die Lücke zwischen ihren Bestellungen > 60 Tage beträgt. Für diese Kunden geben Sie die maximale Lücke (gap_days) aus. Bestelltabelle: | order_id | customer_id | order_dt | |----------|-------------|------------| | 1 | 1 | [phone] | | 2 | 1 | [phone] | | 3 | 1 | [phone] | | 4 | 1 | [phone] | | 5 | 2 | [phone] | | 6 | 2 | [phone] | | 7 | 3 | [phone] | Endergebnis: | customer_id | gap_days | |-------------|----------| | 1 | 123 | | 2 | 120 |
Was sind die Nachteile von UDFs in Spark und was ist ihr Nachteil?
Was ist der Unterschied zwischen repartition und coalesce in Spark?
Wie man mit Inkonsistenzen bei Daten umgeht?
Wie würdest du im Code eine Überprüfung beschreiben, dass ein Wert erheblich von einer normalen (erwarteten) Verteilung abweicht?
Haben Sie mit Kontextmanagern in Python gearbeitet? Was sind sie und wofür sind sie nützlich?
Was weißt du über Spill in Spark?
Wie verhindert man, dass fehlerhafte Daten, die in die Vitrine oder Zwischentabelle geladen wurden, in die übergeordneten Pipelines gelangen?
Warum können Daten verloren gehen? Nennen Sie einige Gründe.
Welche Methoden der Datenübertragung zwischen Airflow-Aufgaben kennen Sie?
Was bewirkt der Parameter depends_on_past in Airflow?
Wenn der Zeitplan des DAG @daily ist, wann wird er tatsächlich gestartet?
Wie haben Sie die Datenqualität überwacht?
Ist das Wörterbuch in Python ein veränderlicher oder unveränderlicher Typ? Welche Anforderungen gibt es an seine Schlüssel und Werte?
Hast du statistische Überprüfungen durchgeführt?
Wie ist die algorithmische Komplexität der Suche in einem Wörterbuch im schlimmsten Fall?
Wie startet man den zweiten Airflow-DAG direkt nach dem erfolgreichen Abschluss des ersten?