Data Engineer

Feladat #2 Írjon olyan lekérdezést, amely minden osztályban a TOP-3 alkalmazottat mutatja a fizetés szerint. Mutassa az osztály nevét, az alkalmazott nevét és fizetését. employee tábla: | id | name | salary | dept_id | |----|-------|--------|---------| | 10 | John | 1000 | 2 | | 20 | Tom | 5000 | 3 | | 30 | Bill | 3000 | 2 | department tábla: | id | name | |----|-----------| | 1 | Marketing | | 2 | IT | | 3 | Pénzügy | Kimenet: department_name, num, employee_name, salary cte-ként: select d.name as department_name, e.name as employee_name, e.salary, dense_rank from employee e join department d on e.id = d.id

Middle

Островок

Mi a különbség az ACID és a CAP-tétel között?

Middle

Островок

Végső eredmény: | customer_id | gap_days | |-------------|----------| | 1 | 123 | | 2 | 120 | with cte as( select order_id, customer_id, order_dt, lag(order_dt) over(partition by customer_id order by order_dt) as prev_order_ft, datediff(day, prev_order_ft, order_dt) as gap_days from Orders ) select customer_id, max(gap_days) as gap_days from cte where gap_days > 60 group by customer_id

Middle

Островок

Mi a shuffle veszélye a Spark-ben?

Middle

Островок

Mi az az Adaptív Lekérdezés Végrehajtás (AQE)?

Middle

Островок

Milyen szakaszokból áll egy tranzakció?

Middle

Островок

Dolgozott már Python dekorátorokkal? Mi azok és hol alkalmazzák őket?

Middle

Островок

Milyen helyzetben romolhat a szótár szerinti keresés a legrosszabb esetre?

Middle

Островок

Beszéljen a Python változtatható és változtathatatlan adattípusairól, és adjon példákat.

Middle

Островок

Hogyan kezelte általában a hibákat és figyelmeztetéseket a pipeline-okban?

Middle

Островок

Hogyan kerülhető el, hogy körülbelül 700 DAG futás egyidejűleg induljon a catchup/backfill során az Airflow-ban?

Middle

Островок

Milyen adatminőségi kockázatok vannak?

Middle

Островок

Dolgozott már olyan paraméterekkel és hint-ekkel, amelyek meghatározzák a Broadcast Join használatát?

Middle

Островок

Magyarázd el a lustán és azonnali számításokat a Sparkban.

Middle

Островок

Mesélj részletesebben a hálózatról: mi az és miért fontos?

Middle

Островок

Kérdés #1 Hány rekordot ad vissza a lekérdezés az inner, left, right, full join segítségével két tábla összekapcsolásakor az id attribútum szerint? t1 t2 | id | | id | |-----| |-----| | 1 | | 1 | | 2 | | 1 | | 3 | | 3 | | 0 | | 5 | | NULL| | NULL| | NULL| inner: left: right: full outer:

Middle

Островок

Hogyan különbözteted meg a technikai és üzleti adatellenőrzéseket, és ki kellene meghatároznia az elvárásokat ezekhez?

Middle

Островок

Milyen fizikai stratégiákat ismer a join végrehajtásához?

Middle

Островок

Mi a különbség a repartition és a coalesce között a Spark-ben?

Middle

Островок

Mit tudsz a serializálásról és deserializálásról a Spark/UDF kontextusában?

Middle

Островок