¿Cómo se pueden transferir los datos de una vista materializada en Greenplum a ClickHouse?
Data Engineer
¿Cuál fue tu papel en un equipo de 4 personas y cómo ves tu carrera en 3-4 años, qué metas te propones?
¿Qué tan bien conoces Python?
¿Cómo funcionaban las funciones analíticas (funciones de ventana)?
¿Cuántas descargas en total hubo, trabajos de alto nivel, hilos?
Ingresamos los metadatos como entrada, y él crea un flujo basado en estos metadatos — ¿cómo permitirá esto transferir rápidamente los flujos existentes desde sistemas antiguos a los planificados?
¿El almacenamiento grande fue — qué tan difícil fue mantenerlo manualmente en volúmenes y objetos?
Hay mucho uso de memoria en CTE: cuando tenemos un alto consumo de memoria, ¿qué sucede con los datos?
¿El almacenamiento fue construido según el esquema Data Vault — tú también lo desarrollaste, lo mantuviste? ¿Agregaste hubs, enlaces manualmente?
¿Cómo cargar datos desde Kafka a ClickHouse a través de streaming para informes en tiempo real?
En cuanto a la consulta, podemos ver qué sucede con los datos, incluyendo qué tipos de joins — qué tipos de joins podemos ver allí?
Con Kafka, no hay nada difícil, lo principal es procesar los datos — ¿qué matices hay que tener en cuenta?
¿Qué tipo de lectura se utiliza en ClickHouse?
¿Había algún líder o alguien más dirigía el equipo de 4 personas?
¿Ya tienes algunas propuestas de trabajo?
¿Cómo afectan los archivos swap al rendimiento? ¿En qué otras situaciones pueden surgir archivos swap?
¿A qué tipo pertenece más Greenplum: OLTP o OLAP?
¿De qué manera se pueden transferir los datos desde Greenplum y Trino a ClickHouse?
¿Trino en este esquema se encarga del procesamiento de datos, cómo permite la pila de tecnologías separar el almacenamiento y los cálculos?
¿Qué procesos se inician cuando eliminamos o modificamos registros en ClickHouse?