Data Engineer

Úkol #2 Írjon olyan lekérdezést, amely minden osztályban a TOP-3 alkalmazottat mutatja a fizetés szerint. Mutassa az osztály nevét, az alkalmazott nevét és fizetését. employee tábla: | id | name | salary | dept_id | |----|-------|--------|---------| | 10 | John | 1000 | 2 | | 20 | Tom | 5000 | 3 | | 30 | Bill | 3000 | 2 | department tábla: | id | name | |----|-----------| | 1 | Marketing | | 2 | IT | | 3 | Pénzügy | Kimenet: department_name, num, employee_name, salary cte-ként: select d.name as department_name, e.name as employee_name, e.salary, dense_rank from employee e join department d on e.id = d.id

Middle

Островок

Co je to Adaptivní vykonávání dotazů (AQE)?

Middle

Островок

Jaký je rozdíl mezi ACID a CAP teoremou?

Middle

Островок

Z jakých etapů se skládá transakce?

Middle

Островок

Konečný výsledek: | customer_id | gap_days | |-------------|----------| | 1 | 123 | | 2 | 120 | s cte jako( vyberte order_id, customer_id, order_dt, lag(order_dt) přes(částice podle customer_id řadit podle order_dt) jako prev_order_ft, datediff(dne, prev_order_ft, order_dt) jako gap_days z Orders ) vyberte customer_id, max(gap_days) jako gap_days z cte kde gap_days > 60 group by customer_id

Middle

Островок

Pracoval jste někdy s dekorátory v Pythonu? Co jsou a kde se používají?

Middle

Островок

V jaké situaci může hledání ve slovníku degradovat na nejhorší případ?

Middle

Островок

Jaké je nebezpečí shuffle v Spark?

Middle

Островок

Povězte o mutabilních a nemutabilních datových typech v Pythonu a uveďte příklady.

Middle

Островок

Pracoval jste s parametry a hinty určujícími použití Broadcast Join?

Middle

Островок

Jak jste obvykle řešili chyby a upozornění v pipelinech?

Middle

Островок

Otázka #1 Kolik záznamů vrátí dotaz s inner, left, right, full join dvou tabulek při spojení podle atributu id t1 t2 | id | | id | |-----| |-----| | 1 | | 1 | | 2 | | 1 | | 3 | | 3 | | 0 | | 5 | | NULL| | NULL| | NULL| inner: left: right: full outer:

Middle

Островок

Vysvětlete líné a okamžité výpočty v Spark.

Middle

Островок

Řekni mi víc o síti: co to je a proč je to důležité?

Middle

Островок

Jaká jsou rizika kvality dat?

Middle

Островок

Jak zabránit současnému spuštění přibližně 700 DAG běhů při catchup/backfill v Airflow?

Middle

Островок

Proč bool([""]) vrací True?

Middle

Островок

Co víte o serializaci a deserializaci v kontextu Spark/UDF?

Middle

Островок

Jaký je rozdíl mezi repartition a coalesce v Spark?

Middle

Островок

Jak rozlišuješ technické a obchodní kontroly dat, a kdo by měl stanovovat požadavky na ně?

Middle

Островок