Por que bool([""]) retorna True?
Middle
167
Data Engineer
671
0
Quais são as desvantagens das UDF no Spark e qual é a sua principal desvantagem?
Middle
167
Tarefa #3 Precisamos encontrar clientes cujo intervalo entre pedidos seja superior a 60 dias. Para esses clientes, exiba o intervalo máximo (gap_days). Tabela de Pedidos: | order_id | customer_id | order_dt | |----------|-------------|------------| | 1 | 1 | [phone] | | 2 | 1 | [phone] | | 3 | 1 | [phone] | | 4 | 1 | [phone] | | 5 | 2 | [phone] | | 6 | 2 | [phone] | | 7 | 3 | [phone] | Resultado final: | customer_id | gap_days | |-------------|----------| | 1 | 123 | | 2 | 120 |
Middle
166
Como combater a inconsistência de dados?
Middle
164
Qual é a diferença entre repartition e coalesce no Spark?
Middle
164
Como descreverias no código uma verificação de que um valor difere significativamente de uma distribuição normal (esperada)?
Middle
153
O que sabes sobre spill no Spark?
Middle
153
Por que os dados podem ser perdidos? Dê algumas razões.
Middle
153
Já trabalhou com gerenciadores de contexto em Python? O que são e para que servem?
Middle
153
Como impedir que dados incorretos carregados na vitrine ou na tabela intermediária cheguem às pipelines superiores?
Middle
151
Que formas de transferência de dados entre tarefas do Airflow conhece?
Middle
147
Como monitorizava a qualidade dos dados?
Middle
145
O que faz o parâmetro depends_on_past no Airflow?
Middle
144
O dicionário em Python é um tipo mutável ou imutável? Quais são os requisitos para suas chaves e valores?
Middle
143
Se o horário do DAG é @daily, a que horas ele realmente é iniciado?
Middle
143
Fizeste verificações estatísticas?
Middle
135
Como iniciar o segundo DAG do Airflow imediatamente após a conclusão bem-sucedida do primeiro?
Middle
133
Qual é a complexidade algorítmica da pesquisa num dicionário no pior caso?
Middle
132