Data Engineer

Tarefa nº2 Escrever uma consulta que exiba os 3 funcionários com maior salário em cada departamento. Mostrar o nome do departamento, o nome do funcionário e seu salário. tabela employee: | id | nome | salário | dept_id | |----|-------|---------|---------| | 10 | John | 1000 | 2 | | 20 | Tom | 5000 | 3 | | 30 | Bill | 3000 | 2 | tabela department: | id | nome | |----|-----------| | 1 | Marketing | | 2 | TI | | 3 | Finanças | Saída: department_name, num, employee_name, salary com cte como( selecionar d.name como department_name, e.name como employee_name, e.salary, dense_rank de employee e juntar a department d em e.id = d.id

Middle

Островок

Qual é a diferença entre ACID e a teoria CAP?

Middle

Островок

Resultado final: | customer_id | gap_days | |-------------|----------| | 1 | 123 | | 2 | 120 | com cte como( selecionar order_id, customer_id, order_dt, lag(order_dt) sobre(partição por customer_id ordenar por order_dt) como prev_order_ft, datediff(dia, prev_order_ft, order_dt) como gap_days de Orders ) selecionar customer_id, max(gap_days) como gap_days de cte onde gap_days > 60 grupo por customer_id

Middle

Островок

O que é a Execução de Consulta Adaptativa (AQE)?

Middle

Островок

De que etapas consiste uma transação?

Middle

Островок

Qual é o perigo do shuffle no Spark?

Middle

Островок

Já trabalhou com decoradores em Python? O que são e onde são utilizados?

Middle

Островок

Em que situação a busca por um dicionário pode degradar-se até ao pior caso?

Middle

Островок

Fale sobre os tipos de dados mutáveis e imutáveis em Python e dê exemplos.

Middle

Островок

Já trabalhou com parâmetros e dicas que determinam o uso de Broadcast Join?

Middle

Островок

Como evitar a execução simultânea de cerca de 700 execuções de DAG durante catchup/backfill no Airflow?

Middle

Островок

Explique os cálculos preguiçosos e imediatos no Spark.

Middle

Островок

Quais são os riscos de qualidade dos dados?

Middle

Островок

Como normalmente tratava erros e alertas nos pipelines?

Middle

Островок

Fala mais sobre a rede: o que é e por que é importante?

Middle

Островок

Pergunta nº 1 Qual a quantidade de registros que a consulta retornará com inner, left, right, full join de duas tabelas ao unir pelo atributo id t1 t2 | id | | id | |-----| |-----| | 1 | | 1 | | 2 | | 1 | | 3 | | 3 | | 0 | | 5 | | NULL| | NULL| | NULL| inner: left: right: full outer:

Middle

Островок

Como distingues as verificações técnicas e comerciais de dados, e quem deve estabelecer os requisitos para elas?

Middle

Островок

Que estratégias físicas de execução de join conhece?

Middle

Островок

O que sabes sobre serialização e desserialização no contexto do Spark/UDF?

Middle

Островок

Qual é a diferença entre repartition e coalesce no Spark?

Middle

Островок