Data Engineer

Масъала #2 Язмингиз керак, ҳар бир бўлимда TOP-3 ишчи бўйича маълумотлар чиқарувчи сўров. Бўлим номи, ишчи номи ва унинг маошини кўрсатинг. employee жадвали: | id | name | salary | dept_id | |----|-------|--------|---------| | 10 | John | 1000 | 2 | | 20 | Tom | 5000 | 3 | | 30 | Bill | 3000 | 2 | department жадвали: | id | name | |----|-----------| | 1 | Marketing | | 2 | IT | | 3 | Молия | Натижа: department_name, num, employee_name, salary cte сифатида: select d.name as department_name, e.name as employee_name, e.salary, dense_rank from employee e join department d on e.id = d.id

Middle

Островок

Иҷрои Саволҳои Адаптивӣ (AQE) чист?

Middle

Островок

Фарқи байни ACID ва назарияи CAP чист?

Middle

Островок

Транзаксия аз кадом марҳилаҳо иборат аст?

Middle

Островок

Нәтиҗә: | customer_id | gap_days | |-------------|----------| | 1 | 123 | | 2 | 120 | with cte as( select order_id, customer_id, order_dt, lag(order_dt) over(partition by customer_id order by order_dt) as prev_order_ft, datediff(day, prev_order_ft, order_dt) as gap_days from Orders ) select customer_id, max(gap_days) as gap_days from cte where gap_days > 60 group by customer_id

Middle

Островок

Оё шумо то ҳол бо декораторҳо дар Python кор кардаед? Инҳо чӣ ҳастанд ва дар куҷо истифода мешаванд?

Middle

Островок

Дар кадом ҳолат ҷустуҷӯ дар луғат метавонад ба бадтарин ҳолат паст шавад?

Middle

Островок

Чаро дар Spark shuffle хавфнок аст?

Middle

Островок

Дар бораи намудҳои маълумоти тағйирёбанда ва тағйирнопазир дар Python ва намунаҳо диҳед.

Middle

Островок

Оё шумо бо параметрҳо ва ҳинтҳо кор кардаед, ки истифодаи Broadcast Join-ро муайян мекунанд?

Middle

Островок

Чӣ гуна одатан хатогиҳо ва огоҳиномаҳоро дар пайплайнҳо баррасӣ мекардед?

Middle

Островок

Савол #1 Канча рекорд қайтарилади, агар икки жадвални id атрибути бўйича бирлаштирганда, inner, left, right, full join билан? t1 t2 | id | | id | |-----| |-----| | 1 | | 1 | | 2 | | 1 | | 3 | | 3 | | 0 | | 5 | | NULL| | NULL| | NULL| inner: left: right: full outer:

Middle

Островок

Тавзеҳ диҳед дар бораи ҳисобҳои бефосила ва фаврии Spark.

Middle

Островок

дар бораи шабака бештар гап зан: ин чист ва чаро муҳим аст?

Middle

Островок

Риски сифати маълумотҳо чӣ гунаанд?

Middle

Островок

Чӣ гуна бояд аз оғози ҳамзамон тақрибан 700 DAG дар вақти catchup/backfill дар Airflow пешгирӣ кард?

Middle

Островок

Чаро bool([""]) баро True баро?

Middle

Островок

Шумо дар бораи сериализатсия ва десериализатсия дар контексти Spark/UDF чӣ медонед?

Middle

Островок

Фарқи байни repartition ва coalesce дар Spark чист?

Middle

Островок

Чӣ гуна тафовут мекунӣ байни санҷишҳои техникӣ ва бизнесии маълумотҳо, ва кӣ бояд талаботҳоро барои онҳо муайян кунад?

Middle

Островок