Come trasferire i dati da una vista materializzata in Greenplum a ClickHouse?
Data Engineer
Qual è stato il tuo ruolo in un team di 4 persone e come vedi la tua carriera tra 3-4 anni, quali obiettivi ti poni?
Quanti download ci sono stati in totale — lavori di alto livello, thread?
Quanto conosci Python?
Nel CTE si utilizza molta memoria: quando abbiamo un alto consumo di memoria, cosa succede ai dati?
L'archiviazione grande era — quanto era difficile mantenerla manualmente in volumi e oggetti?
Inseriamo i metadati come input, e lui crea un flusso basato su questi metadati — come permetterà questo di trasferire rapidamente i flussi esistenti dai vecchi sistemi a quelli pianificati?
Per quanto riguarda la query, possiamo vedere cosa succede con i dati, inclusi quali tipi di join — quali tipi di join possiamo vedere lì?
Come caricare i dati da Kafka a ClickHouse tramite streaming per report in tempo reale?
Quale tipo di lettura viene utilizzato in ClickHouse?
Come funzionavano le funzioni analitiche (funzioni finestra)?
Con Kafka, non c'è niente di difficile, l'importante è elaborare i dati — quali sono i dettagli da considerare?
C'era qualche leader o qualcun altro guidava il team di 4 persone?
Come si possono trasferire i dati da Greenplum e Trino a ClickHouse?
Lo storage è stato costruito secondo lo schema Data Vault — anche tu lo hai sviluppato, mantenuto? Hai aggiunto manualmente hub, link?
Conosci una libreria in Rust, multithreaded, molto veloce, che possa sostituire Pandas per Data Science e Big Data?
Hai già alcune proposte di lavoro?
Greenplum appartiene più al tipo OLTP o OLAP?
Viene rispettato l'ACID in Greenplum?
Qual è la differenza tra CTE e sottoquery?