Data Engineer
Quão aprofundados são seus conhecimentos em Python, quais bibliotecas você usou?
Já teve que trabalhar com otimização de consultas? Por onde começa a otimização?
МВидеоComo fazer o parsing de grandes ficheiros XML em ZIP e carregá-los no ClickHouse usando Python?
Explique como funciona tecnicamente o Git LFS e quais as vantagens que oferece em comparação com o Git padrão ao trabalhar com ficheiros grandes.
O que a base de dados sacrifica ao carregar dados rapidamente (COPY no Postgres, BULK INSERT)?
O que faz o OPTIMIZE no ClickHouse e por que não deve ser executado sem pensar?
Como funciona o Merge Join (junção com ordenação)?
СБЕРNo processo de trabalho com git bisect, você se deparou com um commit que não pode ser verificado devido à ausência do ambiente necessário. O que fazer nesta situação? - Repetir o comando git bisect start com outros hashes - Pular este commit com o comando git bisect skip - Redefinir o bisect com o comando git bisect reset - Marcar o commit como bom com o comando git bisect good - Marcar o commit como ruim com o comando git bisect bad
O que é uma partição no ClickHouse e com base em que princípio ela é escolhida?
Qual é a diferença entre EXPLAIN e EXPLAIN ANALYZE?
Proporção de tráfego de bots A equipa de antifraude desenvolveu um mecanismo para detectar tráfego de bots no site da loja: quando um bot entra no site, a substring "bot" (sem distinção de maiúsculas ou minúsculas) é adicionada aos parâmetros da sua URL. Se o user_id foi identificado como bot pelo menos uma vez em dezembro, deve sempre ser considerado como bot. Estude o conjunto de dados com as visitas dos utilizadores ao site e calcule a proporção de bots em relação ao total de utilizadores em dezembro de 2024 (arredonde para uma casa decimal). Formato de entrada Tabela visits: - event_date (date) — data da visita - user_id (int) — identificador único do utilizador - url (string) — link pelo qual a visita foi efetuada Os dados não contêm valores ausentes ou incorretos. Formato de saída A consulta deve retornar uma tabela com os campos: - share (float) — proporção de bots em relação ao total de utilizadores em dezembro, arredondada a uma casa decimal.
Como é que se podem eliminar dados do ClickHouse?
Que problemas a rastreabilidade pode identificar?
Por que escolheram especificamente o DBT? Quais são as vantagens e desvantagens deste framework?
СБЕРO que é a idempotência em DAG/tarefa no Airflow?
O que é uma injeção SQL?
O que é VACUUM no PostgreSQL? Para que serve?
Como é que um ficheiro do HDFS, por exemplo Parquet, é lido — na íntegra ou por blocos?
AstonO que é o YARN e para que serve?
AstonComo funciona a compressão no ClickHouse?