Data Engineer
Em que tecnologias é construído o seu lakehouse e que problemas surgem ao trabalhar com Apache Iceberg?
Como é que você implementaria a filtragem antes do join na própria consulta?
Fale sobre o projeto ou tarefa mais importante em Python no último ano.
Temos utilizadores que procuram bilhetes de avião no nosso site. É necessário registar os eventos de pesquisa no ClickHouse para que os analistas possam calcular os destinos mais populares e a conversão em compra. Desenha a tabela e escreve o DDL stream, 5 minutos por dia, data, destino, uma vez por dia, 2 anos, json Identificador do evento, hora, sessão, utilizador (pode ser anónimo — sem login), aeroporto/cidade de saída e chegada, data de saída procurada, data de regresso (pode ser só de ida), número de passageiros, classe de cabine, tipo de dispositivo, se foram encontrados voos, preço mínimo entre os encontrados, moeda, código promocional (pode não existir).
Para que servem as "pastas"/prefixos no S3 além de conveniência?
Лига Цифровой ЭкономикиJá trabalhou com gerenciadores de contexto em Python? O que são e para que servem?
ОстровокComo trabalhou com os ficheiros ao reiniciar o DAG após a sua falha, para não sobrescrever os dados no S3 com dados incompletos?
Que agentes e modelos são utilizados dentro da sua solução de IA corporativa? Ele escreve código por você?
Conheces o formato Avro?
Estabeleceram a linhagem desde a fonte até ao consumidor?
Лига Цифровой ЭкономикиEm que ambiente o Spark foi executado?
Como são estruturados os seus modelos dbt e como você monta a vitrine de várias fontes através do Trino?
Qual o tipo de armazenamento do Parquet: linha ou coluna?
Лига Цифровой ЭкономикиPor que estás procurando um novo emprego e o que gostaria de fazer no futuro?
O que acontece no PostgreSQL após executar uma consulta SELECT * FROM [tabela]?
Por que bool([""]) retorna True?
ОстровокFale-me sobre a sua experiência com bases de dados distribuídas (Greenplum, ClickHouse)?
Por que estás procurando um novo emprego agora, queres mudar de trabalho?
СБЕРE se precisarmos de todos os clientes, mesmo que não tenham tido transações nessa data, como podemos exibi-los?
СБЕРQue entidades adicionais do Data Vault, além de hub, link e satellite, foram utilizadas: por exemplo, links same-as ou links transacionais?
Лига Цифровой Экономики