Puoi spiegare cosa otterremo alla fine qui? Devi commentare ogni passaggio, come funziona.
Middle
186
Data Engineer
671
0
Trino in questo schema si occupa dell'elaborazione dei dati — come la pila tecnologica consente di separare l'archiviazione e i calcoli?
Middle
186
Data Vault è uno strumento comodo, ma ci sono trotti oggetti. Puoi spiegare la differenza tra hub, link e satellite?
Middle
185
Qual è la differenza tra CTE e sottoquery?
Middle
183
Conosci una libreria in Rust, multithreaded, molto veloce, che possa sostituire Pandas per Data Science e Big Data?
Middle
182
Quali tecnologie hai usato per ottenere e caricare i dati in Parquet, e quali meccanismi sono stati utilizzati?
Middle
177
Come suddividere una richiesta in fasi? Cosa facciamo per questo?
Middle
175
Come hai scritto il DAG di Airflow e i job: a mano o usando modelli?
Middle
173
Hai caricato dati da Spark su S3 in formato Parquet, e poi da Parquet a Greenplum — come avviene il processo di caricamento?
Middle
171
Con lo streaming, Iceberg funzionava, hai sentito? È un archivio di file spazzatura.
Middle
171
È in tempo reale, come implementarlo tra Kafka e ClickHouse Spark?
Middle
170
Come sono stati caricati i dati dalla tabella esterna nelle tabelle di destinazione?
Middle
169
Con dipendenze tra lavori, tra DAG — hai usato sensori affinché vengano eseguiti uno dopo l'altro?
Middle
169
Come progettavi lo schema del database? Lo facevi manualmente nel database, o conservavi gli script da qualche parte, o usavi Liquibase? Qual era il processo?
Middle
169
Ha senso usare una CTE se viene usata una sola volta nella query?
Middle
167
Hai dovuto lavorare direttamente con Spark? Qual è il suo svantaggio?
Middle
163
Analizzeremo JSON — chi analizzerà JSON? A quanto ne so, in ClickHouse non ci sono funzioni.
Middle
162
Hai lavorato con Git? Cosa conservavi in Git?
Middle
161
Abbiamo bisogno di un motore di pipeline — un meccanismo che consenta di creare flussi molto rapidamente fornendo contratti e parametri in ingresso. Come lo implementeresti a un livello superiore?
Middle
160
Hai mai lavorato con l'ottimizzazione delle query? Da dove inizia l'ottimizzazione?
Middle
157