Perché bool([""]) restituisce True?
Data Engineer
Compito #3 Trovare i clienti con un intervallo tra gli ordini superiore a 60 giorni. Per questi clienti, mostrare l'intervallo massimo (gap_days). Tabella degli ordini: | order_id | customer_id | order_dt | |----------|-------------|------------| | 1 | 1 | [phone] | | 2 | 1 | [phone] | | 3 | 1 | [phone] | | 4 | 1 | [phone] | | 5 | 2 | [phone] | | 6 | 2 | [phone] | | 7 | 3 | [phone] | Risultato finale: | customer_id | gap_days | |-------------|----------| | 1 | 123 | | 2 | 120 |
Qual è il problema delle UDF in Spark e qual è il loro svantaggio?
Qual è la differenza tra repartition e coalesce in Spark?
Come combattere l'incoerenza dei dati?
Perché i dati possono andare persi? Fornisci alcune ragioni.
Come descriveresti nel codice un controllo che verifica se un valore differisce significativamente da una distribuzione normale (attesa)?
Hai lavorato con i gestori di contesto in Python? Cos'è e a cosa servono?
Cosa sai dello spill in Spark?
Come impedire che dati non corretti caricati nella vetrina o nella tabella intermedia raggiungano le pipeline superiori?
Quali metodi di trasferimento dati tra i task di Airflow conosci?
Come monitoravi la qualità dei dati?
Cosa fa il parametro depends_on_past in Airflow?
Se la pianificazione del DAG è @daily, a che ora viene effettivamente avviato?
Il dizionario in Python è un tipo mutabile o immutabile? Quali sono i requisiti per le sue chiavi e valori?
Hai fatto controlli statistici?
Qual è la complessità algoritmica della ricerca in un dizionario nel caso peggiore?
Come avviare il secondo DAG di Airflow subito dopo il completamento con successo del primo?