Data Engineer

Ülesanne #2 Kirjutage päring, mis näitab iga osakonna TOP-3 töötajat nende palga järgi. Näidake osakonna nime, töötaja nime ja tema palka. employee tabel: | id | name | salary | dept_id | |----|-------|--------|---------| | 10 | John | 1000 | 2 | | 20 | Tom | 5000 | 3 | | 30 | Bill | 3000 | 2 | deparment tabel: | id | name | |----|-----------| | 1 | Marketing | | 2 | IT | | 3 | Finance | Izlase: department_name, num, employee_name, salary ar cte kā( select d.name as department_name, e.name as employee_name, e.salary, dense_rank no employee e join department d on e.id = d.id

Middle

Островок

Mis on Adaptatiivne Päringute Täitmine (AQE)?

Middle

Островок

Mis vahe on ACID ja CAP-teoreemi vahel?

Middle

Островок

Millistest etappidest koosneb tehing?

Middle

Островок

Lõplik tulemus: | customer_id | gap_days | |-------------|----------| | 1 | 123 | | 2 | 120 |

Middle

Островок

Mis on shuffle oht Sparkis?

Middle

Островок

Kas olete kunagi töötanud Pythonis dekoratiividega? Mis need on ja kus neid kasutatakse?

Middle

Островок

Millises olukorras võib sõnastiku otsing halveneda kuni halvimini?

Middle

Островок

Rääkige Pythonis muudetavatest ja muutumatutest andmetüüpidest ning andke näiteid.

Middle

Островок

Kas olete töötanud parameetrite ja hintidega, mis määravad Broadcast Join kasutamise?

Middle

Островок

Räägi rohkem võrgustikust: mis see on ja miks see on oluline?

Middle

Островок

Kuidas tavaliselt töötasite vigade ja hoiatusedega pipeline'ides?

Middle

Островок

Selgitage laiskete ja kohese arvutusi Sparkis.

Middle

Островок

Küsimus #1 Kui palju kirjeid tagastab päring, kasutades inner, left, right, full join kahe tabeli ühendamisel id atribuudi järgi? t1 t2 | id | | id | |-----| |-----| | 1 | | 1 | | 2 | | 1 | | 3 | | 3 | | 0 | | 5 | | NULL| | NULL| | NULL| inner: left: right: full outer:

Middle

Островок

Millised on andmekvaliteedi riskid?

Middle

Островок

Kuidas vältida umbes 700 DAG-i samaaegset käivitamist catchup/backfill ajal Airflow's?

Middle

Островок

Mida teate Spark/UDF kontekstis serialiseerimisest ja deserialiseerimisest?

Middle

Островок

Kuidas sa eristad tehnilisi ja ärilisi andmekontrolle ning kes peaks neile nõudeid esitama?

Middle

Островок

Miks bool([""]) tagastab True?

Middle

Островок

Mis vahe on repartition ja coalesce vahel Sparkis?

Middle

Островок