O Trino nesta arquitetura é responsável pelo processamento de dados — como é que a pilha de tecnologias permite separar o armazenamento e os cálculos?
Middle
192
Data Engineer
671
0
O ACID é cumprido no Greenplum?
Middle
191
Quais processos são iniciados quando removemos ou alteramos registros no ClickHouse?
Middle
187
Qual é a diferença entre CTE e uma subconsulta?
Middle
185
Como dividir a consulta em etapas? O que fazemos para isso?
Middle
184
Conhece alguma biblioteca em Rust, multithread, muito rápida, que possa substituir o Pandas para Data Science e Big Data?
Middle
184
Com dependências entre jobs, entre DAGs — usou sensores para que vários jobs fossem iniciados um após o outro?
Middle
183
Quais tecnologias foram usadas para obter e carregar os dados no Parquet, e quais mecanismos foram utilizados?
Middle
182
Como escreveste o DAG do Airflow e os jobs: manualmente ou com templates?
Middle
182
Você carregou dados do Spark para o S3 no formato Parquet, e depois do Parquet para o Greenplum — como é o processo de carregamento?
Middle
181
Como costumavas fazer o esquema da base de dados — manualmente na base ou guardavas os scripts em algum lugar, ou usavas o Liquibase, qual era o processo?
Middle
181
Já trabalhou com Git? O que armazenava no Git?
Middle
180
Com streaming, Iceberg funcionava, ouviste? É um armazenamento de ficheiros lixo.
Middle
179
Como é que os dados da tabela externa foram carregados nas tabelas de destino?
Middle
176
Isto é em tempo real, como implementar entre Kafka e ClickHouse Spark?
Middle
172
Faz sentido usar CTE se ela for usada apenas uma vez na consulta?
Middle
171
Trabalhou diretamente com Spark? Qual é a sua desvantagem?
Middle
169
Precisamos de um motor de pipeline — um mecanismo que permita criar fluxos muito rapidamente fornecendo contratos e parâmetros na entrada. Como você implementaria isso em um nível superior?
Middle
167
Vamos analisar JSON — quem vai analisar JSON? Pelo que sei, no ClickHouse não há funções.
Middle
166
Iceberg é um motor que permite transformar o S3 numa base de dados, ele até segue os princípios ACID. Qual é a sua desvantagem?
Middle
163