Data Engineer

Onde é possível ver os logs das tarefas no Airflow?

Como funciona o ClickHouse e em que se diferencia do PostgreSQL?

Como o Pandas lida com dados ausentes?

Threading, multiprocessing, asyncio: qual é a diferença e quando é melhor usar cada um?

Onde aparece o paralelismo no Airflow?

Como fazer o parsing de grandes ficheiros XML em ZIP e carregá-los no ClickHouse usando Python?

Como o ORDER BY afeta a tabela ClickHouse e quais chaves são melhores de escolher?

Qual é a diferença entre geradores e listas em Python?

Que tipos de índices existem no PostgreSQL?

Por que o Pandas é melhor do que listas e dicionários normais em Python?

Como atualizar uma tabela no ClickHouse de forma que os utilizadores não percebam nada (substituição atómica)?

O que é o GIL (Global Interpreter Lock)?

Como não matar Jupyter ou Pandas por memória?

De que são normalmente compostos os logs de tarefas do Airflow?

Para que servem as funções de janela?

Como criar várias tarefas iguais em paralelo no Airflow (por exemplo, carregar muitos ficheiros iguais)?

Qual é a diferença entre WHERE e HAVING?

Como funciona o JOIN no ClickHouse?

O que é a idempotência em DAG/tarefa no Airflow?

Produza uma lista de reservas caras Pergunta Como pode produzir uma lista de reservas no dia de [telefone] que custarão ao membro (ou convidado) mais de 30 $? Lembre-se de que os convidados têm custos diferentes dos membros (os custos listados são por meia hora de 'slot'), e o usuário convidado é sempre o ID 0. Inclua na sua saída o nome da instalação, o nome do membro formatado como uma única coluna, e o custo. Ordene por custo decrescente, e não use subconsultas.