Data Engineer

Առաջադրանք #2 Գրեք հարցում, որը ցույց է տալիս ամենաբարձր աշխատավարձ ստացող TOP-3 աշխատակիցները յուրաքանչյուր բաժնում: Ցույց տվեք բաժնի անունը, աշխատակցի անունը և նրա աշխատավարձը: employee աղյուսակ: | id | name | salary | dept_id | |----|-------|--------|---------| | 10 | John | 1000 | 2 | | 20 | Tom | 5000 | 3 | | 30 | Bill | 3000 | 2 | department աղյուսակ: | id | name | |----|-----------| | 1 | Marketing | | 2 | IT | | 3 | Ֆինանսներ | Արդյունք: department_name, num, employee_name, salary cte-ի միջոցով՝ select d.name as department_name, e.name as employee_name, e.salary, dense_rank from employee e join department d on e.id = d.id

Middle

Островок

Ի՞նչ է Ադապտիվ Քվերի Հետագա (AQE):

Middle

Островок

Ի՞նչ է տարբերությունը ACID և CAP տեսության միջև։

Middle

Островок

Ավարտական արդյունքը: | customer_id | gap_days | |-------------|----------| | 1 | 123 | | 2 | 120 | with cte as( select order_id, customer_id, order_dt, lag(order_dt) over(partition by customer_id order by order_dt) as prev_order_ft, datediff(day, prev_order_ft, order_dt) as gap_days from Orders ) select customer_id, max(gap_days) as gap_days from cte where gap_days > 60 group by customer_id

Middle

Островок

Ի՞նչ փուլերից է բաղկացած գործարքը։

Middle

Островок

Ի՞նչ է Spark-ում shuffle-ի վտանգը։

Middle

Островок

Որ իրավիճակում բառարանի որոնումը կարող է վատթարանալ մինչև ամենավատ դեպքը?

Middle

Островок

Դուք երբևէ աշխատե՞լ եք Python-ի դեկորատորների հետ: Ի՞նչ են դրանք և որտեղ են կիրառվում:

Middle

Островок

Պատմեք Python-ում փոփոխական և անփոփոխ տվյալների տեսակների մասին և տվեք օրինակներ։

Middle

Островок

Դու աշխատե՞լ ես այն պարամետրերով և հինթերով, որոնք որոշում են Broadcast Join-ի օգտագործումը։

Middle

Островок

Ասացեք ավելին ցանցի մասին՝ ինչ է դա և ինչու է դա կարևոր?

Middle

Островок

Ինչպե՞ս սովորաբար կառավարում էիք սխալներն ու զգուշացումները պայպլայններում:

Middle

Островок

Հարց #1 Ի՞նչ քանակի գրառումներ կվերադարձնի հարցումը inner, left, right, full join-ով երկու աղյուսակների միացման ժամանակ, ըստ id ատրիբուտի t1 t2 | id | | id | |-----| |-----| | 1 | | 1 | | 2 | | 1 | | 3 | | 3 | | 0 | | 5 | | NULL| | NULL| | NULL| inner: left: right: full outer:

Middle

Островок

Ներկայացրեք լենիվ և անմիջական հաշվարկները Spark-ում։

Middle

Островок

Ի՞նչ ռիսկեր կան տվյալների որակի համար։

Middle

Островок

Ինչպես խուսափել մոտ 700 DAG գործարկումներից միաժամանակ՝ catchup/backfill ժամանակ՝ Airflow-ում?

Middle

Островок

Ինչ եք գիտակցում Spark/UDF կոնտեքստում սերիալիզացիայի և դեսերիալիզացիայի մասին?

Middle

Островок

Ինչպե՞ս տարբերում ես տեխնիկական և բիզնես տվյալների ստուգումները, և ով պետք է սահմանել դրանց պահանջները։

Middle

Островок

Ի՞նչ ֆիզիկական ռազմավարություններ եք գիտակցում join-ի իրականացման համար։

Middle

Островок

Ինչու bool([""]) վերադարձնում է True?

Middle

Островок