Data Engineer
¿Qué tipo de tipificación se utiliza en Python: estática o dinámica?
МТСTenemos una tabla de clientes (id, nombre, dirección, etc.), productos (id, nombre, etc.), movimiento de productos (aquí tenemos id del cliente, producto, fecha, cantidad, suma), necesitamos encontrar qué productos se vendieron el 1 de enero, solo los únicos, y también mostrar el nombre del comprador y...
СБЕР¿Cómo comparar la tabla original ("en vivo") y la tabla de destino si la fuente cambia constantemente?
¿Cómo están relacionadas las particiones de Spark y las particiones en las tablas (por ejemplo, en Iceberg)?
¿Qué es shuffle en Spark y por qué es importante minimizarlo?
Aston¿Cuál fue la última tarea en Python que resolvió en producción?
¿Cuándo se pueden usar los formatos de la familia CSV?
Aston¿Cómo resolver el problema cuando el proceso de lectura puede ver un estado intermedio (inconsistente) de la tabla durante un ETL de múltiples etapas (delete+insert) en Iceberg?
¿Cómo aplicar una función a todas las filas o elementos en pandas?
¿En qué aspectos se debe prestar atención en la memoria, velocidad y precisión al analizar grandes XML?
¿Cómo exactamente leías Parquet?
¿En qué casos una Vista Materializada en ClickHouse puede omitir datos o, por el contrario, duplicarlos?
¿Qué es una Vista Materializada y en qué se diferencia de una Vista normal?
¿Cómo prefieres trabajar: individualmente como experto o en un equipo de desarrolladores?
СБЕР¿Qué es la partición? ¿Qué es el sharding? ¿Qué es la replicación?
СБЕР¿Cómo se orquestan los lanzamientos en DBT? ¿Usas Airflow?
СБЕР¿Con qué fuentes de datos has trabajado? ¿Cómo fue exactamente la interacción con las fuentes?
Tarea #3 Necesitamos encontrar clientes cuyo intervalo entre pedidos sea mayor a 60 días. Para estos clientes, mostrar el intervalo máximo (gap_days). Tabla de pedidos: | order_id | customer_id | order_dt | |----------|-------------|------------| | 1 | 1 | [phone] | | 2 | 1 | [phone] | | 3 | 1 | [phone] | | 4 | 1 | [phone] | | 5 | 2 | [phone] | | 6 | 2 | [phone] | | 7 | 3 | [phone] | Resultado final: | customer_id | gap_days | |-------------|----------| | 1 | 123 | | 2 | 120 |
Островок¿Qué se puede decir sobre la corrección de la siguiente consulta? select * from sessions where ended_at is null and status != 'pending';
[nombre] preguntó: ¿Qué se debe agregar al motor de tablas para que los datos se mantengan actualizados en todos los nodos del clúster?