Data Engineer
O que é versionamento semântico? Quando aumentar major, minor, patch?
Consegues explicar o que vamos obter aqui no final? É necessário comentar cada passo, como isto funciona.
Como é que a sua experiência corresponde às responsabilidades do cargo: acompanhamento e análise dos processos de carregamento, monitorização e deteção de anomalias, testes e implementação de melhorias em produção, suporte de segunda linha, verificação da documentação técnica?
Verificações de qualidade de dados — em que fase, que verificações, o que acontece com os dados inválidos?
De que são normalmente compostos os logs de tarefas do Airflow?
Tiveste tarefas ad-hoc mesmo com um briefing claro, e como te sentes em relação a pedidos ad-hoc e mudanças de prioridades?
O que é um plano de consultas? Para que servem?
Como estão relacionadas as partições do Spark e as partições nas tabelas (por exemplo, no Iceberg)?
O que podes contar-me sobre a API SOAP?
Quando é que se pode usar a família de formatos CSV?
Como aplicar uma função a todas as linhas ou elementos no pandas?
Quais outros formatos de arquivo, além de Parquet, funcionam bem com Hadoop e Hive?
Que variável é a var, de que tipo é ela?
A que deve prestar atenção em memória, velocidade e precisão ao fazer parsing de grandes XML?
Como exatamente você lia Parquet?
No PostgreSQL, é necessário otimizar o desempenho das transações através de um nível de isolamento mínimo, no qual: • transações paralelas podem ver alterações não finalizadas umas às outras; • são possíveis "leituras sujas" (dirty read). Qual nível de isolamento deve ser especificado para a transação para atingir esse objetivo? dirty read não é possível no PostgreSQL leitura repetível leitura não confirmada leitura confirmada serializável
Que experiência tem com SQL e bases de dados relacionais?
O armazenamento grande foi — quão difícil foi mantê-lo manualmente em volumes e objetos?
Já trabalhou com o otimizador AQE (Execução de Consulta Adaptativa) no Spark? Você sabe como ele funciona?
Já trabalhou com tokens JWT? De que blocos ele é composto?