Gostas mais de trabalhar individualmente como especialista ou em uma equipe de desenvolvedores?
Data Engineer
Já trabalhou com vitrines de dados (camada DWH)?
Se juntar transações com clientes por client_id e date_start (sem BETWEEN), o que será capturado no resultado?
Qual é o salário que esperas?
Por que estás procurando um novo emprego agora, queres mudar de trabalho?
Fala sobre um par de suas tarefas mais importantes relacionadas com a qualidade dos dados.
É possível ler dados em paralelo de um único arquivo Parquet no Spark, ou apenas com um núcleo numa tarefa?
O que é um CROSS JOIN? Já trabalhou com isso?
Que tipos de JOIN conhece? (lógicos)
Descreva as funções de janela na forma mais expandida possível: quais palavras-chave são usadas e para que serve cada uma.
Fala sobre ti — experiência de trabalho, stack de tecnologias
Quais são as vantagens e desvantagens das bases de dados de linha e coluna? Qual é mais eficiente para agrupamento e agregação?
Qual direção seria interessante de desenvolver — vitrines, desenvolvimento, análise, talvez IA?
O que é um índice? Qual é a diferença entre um índice agrupado e um não agrupado?
-- Tabela dada numbers com uma coluna num (números inteiros, que podem repetir-se). -- Escreva uma consulta SQL que divida os números em duas colunas: -- even – números pares (ordenados por ordem crescente) -- odd – números ímpares (ordenados por ordem crescente) -- Os números devem ser dispostos linha por linha: na primeira linha – o primeiro par e o primeiro ímpar, -- na segunda linha – o segundo par e o segundo ímpar, etc. -- Se um grupo tiver mais números do que o outro, os lugares em falta devem ser NULL. -- tabela original -- num -- --------- -- [phone] -- resultado da consulta -- even | odd -- -----|----- -- 2 | 1 -- 4 | 3 -- 6 | 5 -- 8 | 7 -- 10 | 9 -- NULL | 11 -- NULL | 11
Se no executor houver 10 núcleos, quantas tarefas serão executadas em paralelo num momento?
Fala-me sobre a tua compreensão da qualidade dos dados — já tiveste experiência a trabalhar nesta área?
Que JOINs físicos conheces?
O que é LEFT SEMI JOIN e LEFT ANTI JOIN no Spark SQL, já teve que usá-los?
Para que é responsável o Grupo de Linhas na estrutura do ficheiro Parquet?