Data Engineer

Problema #2 Scrieți o interogare care afișează TOP-3 angajați după salariu în fiecare departament. Afișați numele departamentului, numele angajatului și salariul său. tabelul employee: | id | name | salary | dept_id | |----|-------|--------|---------| | 10 | John | 1000 | 2 | | 20 | Tom | 5000 | 3 | | 30 | Bill | 3000 | 2 | tabelul department: | id | name | |----|-----------| | 1 | Marketing | | 2 | IT | | 3 | Finance | Ieșire: department_name, num, employee_name, salary cu cte ca( select d.name as department_name, e.name as employee_name, e.salary, dense_rank from employee e join department d on e.id = d.id

Middle

Островок

Care este diferența dintre ACID și teorema CAP?

Middle

Островок

Ce este Execuția de Interogare Adaptativă (AQE)?

Middle

Островок

Rezultatul final: | customer_id | gap_days | |-------------|----------| | 1 | 123 | | 2 | 120 | cu cte ca( select order_id, customer_id, order_dt, lag(order_dt) over(partition by customer_id order by order_dt) ca prev_order_ft, datediff(day, prev_order_ft, order_dt) ca gap_days din Orders ) selectați customer_id, max(gap_days) ca gap_days din cte unde gap_days > 60 grupuți după customer_id

Middle

Островок

Din ce etape constă o tranzacție?

Middle

Островок

Ați lucrat vreodată cu decoratori în Python? Ce sunt și unde sunt folosiți?

Middle

Островок

Care este pericolul shuffle-ului în Spark?

Middle

Островок

În ce situație căutarea într-un dicționar poate degenera până la cel mai rău caz?

Middle

Островок

Ați lucrat cu parametri și hints care determină utilizarea Broadcast Join?

Middle

Островок

Vorbește despre tipurile de date mutabile și imutabile în Python și oferă exemple.

Middle

Островок

Explicați calculurile leneșe și imediate în Spark.

Middle

Островок

Cum se evită lansarea simultană a aproximativ 700 de execuții DAG în timpul catchup/backfill în Airflow?

Middle

Островок

Care sunt riscurile legate de calitatea datelor?

Middle

Островок

Vorbește mai detaliat despre rețea: ce este și de ce este importantă?

Middle

Островок

Cum obișnuiai să gestionezi erorile și alertele în pipeline-uri?

Middle

Островок

Întrebarea #1 Câte înregistrări va returna interogarea cu inner, left, right, full join a două tabele la unirea pe atributul id t1 t2 | id | | id | |-----| |-----| | 1 | | 1 | | 2 | | 1 | | 3 | | 3 | | 0 | | 5 | | NULL| | NULL| | NULL| inner: left: right: full outer:

Middle

Островок

Cum deosebești verificările tehnice și cele de afaceri ale datelor, și cine ar trebui să stabilească cerințele pentru acestea?

Middle

Островок

De ce bool([""]) returnează True?

Middle

Островок

Ce știi despre serializare și deserializare în contextul Spark/UDF?

Middle

Островок

Care este diferența dintre repartition și coalesce în Spark?

Middle

Островок