¿Por qué bool([""]) devuelve True?
Data Engineer
¿Qué sucederá si se crea un DAG con start_date = 1 de enero de 2024?
¿Cuál es la diferencia entre repartition y coalesce en Spark?
¿Cómo luchar contra la inconsistencia de datos?
Tarea #3 Necesitamos encontrar clientes cuyo intervalo entre pedidos sea mayor a 60 días. Para estos clientes, mostrar el intervalo máximo (gap_days). Tabla de pedidos: | order_id | customer_id | order_dt | |----------|-------------|------------| | 1 | 1 | [phone] | | 2 | 1 | [phone] | | 3 | 1 | [phone] | | 4 | 1 | [phone] | | 5 | 2 | [phone] | | 6 | 2 | [phone] | | 7 | 3 | [phone] | Resultado final: | customer_id | gap_days | |-------------|----------| | 1 | 123 | | 2 | 120 |
¿Cómo describirías en código una comprobación de que un valor difiere significativamente de una distribución normal (esperada)?
¿Por qué pueden perderse los datos? Da varias razones.
¿Qué sabes sobre spill en Spark?
¿Has trabajado con gestores de contexto en Python? ¿Qué son y para qué sirven?
¿Cómo evitar que datos incorrectos cargados en la vitrina o en la tabla intermedia lleguen a las tuberías superiores?
¿Qué hace el parámetro depends_on_past en Airflow?
¿Qué formas de transferencia de datos entre tareas de Airflow conoces?
¿Cómo supervisaba la calidad de los datos?
Si el horario del DAG es @daily, ¿a qué hora se ejecuta realmente?
¿Es el diccionario en Python un tipo mutable o inmutable? ¿Cuáles son los requisitos para sus claves y valores?
¿Hiciste verificaciones estadísticas?
¿Cuál es la complejidad algorítmica de buscar en un diccionario en el peor caso?
¿Cómo ejecutar el segundo DAG de Airflow inmediatamente después de que el primero termine con éxito?