Sobes.tech

Data Engineer

Aufgabe #3 Finden Sie Kunden, bei denen die Lücke zwischen ihren Bestellungen > 60 Tage beträgt. Für diese Kunden geben Sie die maximale Lücke (gap_days) aus. Bestelltabelle: | order_id | customer_id | order_dt | |----------|-------------|------------| | 1 | 1 | [phone] | | 2 | 1 | [phone] | | 3 | 1 | [phone] | | 4 | 1 | [phone] | | 5 | 2 | [phone] | | 6 | 2 | [phone] | | 7 | 3 | [phone] | Endergebnis: | customer_id | gap_days | |-------------|----------| | 1 | 123 | | 2 | 120 |

166

Was sind die Nachteile von UDFs in Spark und was ist ihr Nachteil?

165

Was ist der Unterschied zwischen repartition und coalesce in Spark?

164

Wie würdest du im Code eine Überprüfung beschreiben, dass ein Wert erheblich von einer normalen (erwarteten) Verteilung abweicht?

153

Haben Sie mit Kontextmanagern in Python gearbeitet? Was sind sie und wofür sind sie nützlich?

153

Wie verhindert man, dass fehlerhafte Daten, die in die Vitrine oder Zwischentabelle geladen wurden, in die übergeordneten Pipelines gelangen?

151

Warum können Daten verloren gehen? Nennen Sie einige Gründe.

149

Welche Methoden der Datenübertragung zwischen Airflow-Aufgaben kennen Sie?

145

Was bewirkt der Parameter depends_on_past in Airflow?

144

Wenn der Zeitplan des DAG @daily ist, wann wird er tatsächlich gestartet?

143

Ist das Wörterbuch in Python ein veränderlicher oder unveränderlicher Typ? Welche Anforderungen gibt es an seine Schlüssel und Werte?

141

Wie ist die algorithmische Komplexität der Suche in einem Wörterbuch im schlimmsten Fall?

132

Wie startet man den zweiten Airflow-DAG direkt nach dem erfolgreichen Abschluss des ersten?

131
/2