Sobes.tech

Data Engineer

Compito #3 Trovare i clienti con un intervallo tra gli ordini superiore a 60 giorni. Per questi clienti, mostrare l'intervallo massimo (gap_days). Tabella degli ordini: | order_id | customer_id | order_dt | |----------|-------------|------------| | 1 | 1 | [phone] | | 2 | 1 | [phone] | | 3 | 1 | [phone] | | 4 | 1 | [phone] | | 5 | 2 | [phone] | | 6 | 2 | [phone] | | 7 | 3 | [phone] | Risultato finale: | customer_id | gap_days | |-------------|----------| | 1 | 123 | | 2 | 120 |

166

Qual è il problema delle UDF in Spark e qual è il loro svantaggio?

165

Qual è la differenza tra repartition e coalesce in Spark?

164

Perché i dati possono andare persi? Fornisci alcune ragioni.

153

Come descriveresti nel codice un controllo che verifica se un valore differisce significativamente da una distribuzione normale (attesa)?

153

Hai lavorato con i gestori di contesto in Python? Cos'è e a cosa servono?

153

Come impedire che dati non corretti caricati nella vetrina o nella tabella intermedia raggiungano le pipeline superiori?

151

Quali metodi di trasferimento dati tra i task di Airflow conosci?

147

Se la pianificazione del DAG è @daily, a che ora viene effettivamente avviato?

143

Il dizionario in Python è un tipo mutabile o immutabile? Quali sono i requisiti per le sue chiavi e valori?

143

Qual è la complessità algoritmica della ricerca in un dizionario nel caso peggiore?

132

Come avviare il secondo DAG di Airflow subito dopo il completamento con successo del primo?

131
/2