Data Engineer

Գրեք DAG տվյալների բեռնում REST API-ի միջոցով

Отчет для лагістычнай кампаніі Вы аналітык лагістычнай кампаніі, якая вядзе ўлік аперацый на складах. Вам неабходна скласці справаздачу па эфектыўнасці працы кожнага склада. Для кожнага склада разлічыце: • агульную колькасць аперацый (count_operations); • агульную колькасць тавараў, апрацаваных на складзе (sum_quantity); • сярэдні час апрацоўкі аперацыі (avg_processing_time), улічваючы толькі аперацыі з указаным часам (не NULL), заакруглены да цэлага ліку; • максімальную і мінімальную колькасць тавараў, апрацаваных у адной аперацыі (max_quantity, min_quantity); • колькасць аперацый кожнага тыпу («пастаўка», «адгрузка», «перамяшчэнне») у асобных калонках: supply_operations, shipment_operations, transfer_operations. Адфільтруйце склады, у якіх агульная колькасць аперацый больш за 2 і сярэдні час апрацоўкі не перавышае 60 хвілін. Адсартуйце вынік па ID склада ў парадку ўзрастання. Фармат уводных дадзеных Табліца operations: • operation_id (int) — унікальны ідэнтыфікатар аперацыі • warehouse_id (int) — ідэнтыфікатар склада • operation_type (text) — тып аперацыі: «пастаўка», «адгрузка», «перамяшчэнне» • quantity (int) — колькасць адзінак тавару ў аперацыі • operation_date (timestamp) — дата і час аперацыі • processing_time (int) — час апрацоўкі аперацыі Калонка processing_time можа ўтрымліваць пропускі. Фармат вываду Запыт павінен вярнуць табліцу з палямі ў такім парадку: • warehouse_id (int) — унікальны ідэнтыфікатар склада • count_operations (int) — агульная колькасць аперацый, выкананых на складзе • sum_quantity (int) — агульная колькасць тавараў, апрацаваных на складзе • avg_processing_time (numeric) — сярэдні час апрацоўкі аперацыі (у мінутах), улічваючы толькі аперацыі з не NULL часам, заакруглены да цэлага ліку • max_quantity (int) — максімальная колькасць тавараў, апрацаваных у адной аперацыі • min_quantity (int) — мінімальная колькасць тавараў, апрацаваных у адной аперацыі • supply_operations (int) — колькасць аперацый тыпу «пастаўка» • shipment_operations (int) — колькасць аперацый тыпу «адгрузка» • transfer_operations (int) — колькасць аперацый тыпу «перамяшчэнне»

Ներկայացրեք Airflow-ում DAG գրելու սովորական առաջադրանքի օրինակ։

Middle+

Лига Цифровой Экономики

Ի՞նչ է Ադապտիվ Քվերի Հետագա (AQE):

Middle

Островок

Ո՞րն է տարբերությունը UNION և UNION ALL-ի միջև: Ո՞ր պայմաններն են պետք ապահովել:

Middle

СБЕР

Կային խնդիրներ OpenAPI-ի հետ Spring Boot 2-ից 3 անցնելիս?

Ի՞նչ է shuffle-ը Spark-ում և ինչու է կարևոր նվազեցնել այն։

Middle

Aston

# ինչ է ցույց տալիս s = 'abracadabra' print(s[5][0][0][0]) print(s[::-2]) s = [1, 2, 3] print(s * 2)

Ի՞նչ առանձնահատկություններ և տարբերություններ կան Set և List-ների միջև Python-ում: Բացի կատարողականությունից, ինչ այլ առանձնահատկություններ կան?

Middle

СБЕР

GIL (Global Interpreter Lock) ինչ է?

Ի՞նչ է սյունային պահպանումը՝ համեմատած տողային պահպանումին:

Middle

Aston

CTE-ում շատ հիշողություն է օգտագործվում՝ երբ մենք մեծ հիշողության սպառում ունենք, ինչ է տեղի ունենում տվյալների հետ?

Middle

МВидео

Ինչպես անհամամասնորեն բաժանել այս վիտրինայի տվյալները երեք shard-ների վրա՝ 50% առաջինում և 25% մյուս երկուում?

Արտադրվել է հատուկ հաջորդականություն, որի անվանումն է even_sequence, և այն միայն զույգ թվեր է արտադրում: Ի՞նչ պետք է տեղադրել [...]-ի փոխարեն, որպեսզի, եթե even_column արժեքը նշված չէ ներմուծման ժամանակ, արժեքը վերցվի even_sequence-ից: create table some_table( even_column [...] ); integer computed as nextval('even_sequence') integer generated always as identity (start with 2 increment by 2) integer default nextval('even_sequence') integer unique default nextval('even_sequence') integer generated by even_sequence’

Ինչպե՞ս է Hive-ը տարբերվում Impala-ից։

Middle+

Альфа-Банк

Հարցման առումով մենք կարող ենք տեսնել, թե ինչ է տեղի ունենում տվյալների հետ, այդ թվում՝ ինչ տեսակի միացումներ — ինչ տեսակի միացումներ կարող ենք տեսնել այնտեղ?

Middle

МВидео

[անուն] ուղղել է տեքստում սխալներն ու ոճը՝ «Բարև! Ես [անուն], դու նախորդ անգամ խնդրեցիր անցնել Telegram»-ին, բայց հարգալից ձևով

Ի՞նչ է վիճակագրությունը տվյալների բազաների կառավարման համակարգերի և հարցումների օպտիմալացման համատեքստում։

Ինչպե՞ս փոխանցել տվյալները Greenplum և Trino-ից դեպի ClickHouse։

Middle

МВидео

Ինչպես թարմացնել ClickHouse-ի աղյուսակը այնպես, որ օգտվողները ոչինչ չզգան (ատոմային փոխարինում)?