Para que é responsável o Grupo de Linhas na estrutura do ficheiro Parquet?
Data Engineer
O que é o gatilho para criar um novo Job no Spark, e como o Job é dividido em Stages e Tasks?
O que é particionamento? O que é sharding? O que é replicação?
Como funciona o Join de Loop Aninhado e qual é a sua complexidade algorítmica? Qual é a complexidade de todos os três algoritmos?
SELECT client_id, ФИО, SUM(suma) AS total_amount FROM clients JOIN transactions ON clients.client_id = transactions.client_id WHERE дата = '2025-05-01' GROUP BY client_id, ФИО;
Conte de forma geral como é que a arquitetura do Spark está estruturada: quais os componentes existentes e como eles interagem na execução de uma consulta SQL.
## questão sobre moda # Existe uma lista de números. Escreva uma função que encontra a moda dessa lista. # find_mode([1, 2, 3, 3, 4, 5]) #> 3
-- t1 -- num --------- -- 1 -- 2 2 null null 4 -- t2 -- num --------- -- [telefone] null null 5 SELECIONAR a.num COMO a_num, b.num COMO b_num DE t1 a JUNÇÃO ESQUERDA t2 b ON a.num = b.num;
O que a função find_mode retornará para a lista [1, 2, 3, 3, 4, 5]? Explique passo a passo.
Qual é a diferença entre o formato de armazenamento Parquet e CSV?
Conta-me onde trabalhaste como analista de sistemas e quais as tarefas que realizaste?
Qual é a diferença entre particionamento e sharding?
Você realizava as verificações de qualidade dos dados você mesmo, ou os requisitos vinham do negócio/cliente?
Como obter o último nome completo de cada cliente, se apenas a data de início é conhecida (a data de fim não é conhecida)?
Que métodos (tipos) de armazenamento de histórico de dados conhece? Como é acumulada a história nas tabelas?
O que significa UNBOUNDED PRECEDING nas janelas de funções de janela?
Como determinar corretamente o campo de distribuição no Greenplum? O que acontece durante o Motion?
Que tipos de JOIN físicos existem no Spark?
Qual mecanismo físico de JOIN será utilizado ao juntar a tabela de transações com a tabela de calendário pela condição de desigualdade (data <= data)?
Por que estás procurando um novo emprego e o que gostaria de fazer no futuro?