Data Engineer

Кадом навъи типгузорӣ дар Python истифода мешавад: статикӣ ё динамикӣ?

Middle

МТС

Мижозлар (ид, исм, манзил ва бошқалар), маҳсулотлар (ид, исм ва бошқалар), маҳсулот ҳаракати (бу ерда мижоз ид, маҳсулот, сана, миқдор, сумма), 1-январда сотилган маҳсулотларни топишимиз керак, фақат уникаллар ва шунингдек, сотиб олганнинг исмини ва... кўрсатиш

Middle

СБЕР

Чӣ тавр муқоиса кардани ҷадвали асосӣ ("зинда") ва ҷадвали ҳадафӣ, агар манбаъ доимо тағйир ёбад?

Чӣ гуна тақсимотҳои Spark бо тақсимотҳо дар ҷадвалҳо (масалан, дар Iceberg) алоқаманданд?

Shuffle дар Spark чист ва чаро муҳим аст, ки онро кам кунем?

Middle

Aston

Охирин вазифаи Python-ро дар истеҳсолот чӣ ҳал кардаед?

Кай вақт аст, ки оилаи форматҳои CSV-ро истифода бурдан мумкин аст?

Middle

Aston

Чӣ гуна масъалаи ҳалли вақте ки равандҳои хондан метавонанд ҳолати миёна (ғайриустувор) дар ҷадвалро дар вақти ETL-и бисёрмарҳилавӣ (delete+insert) дар Iceberg бубинанд?

Чӣ гуна метавон функсияро ба ҳама сатрҳо ё унсурҳо дар pandas татбиқ кард?

Дар вақти парс кардани XML-и калон, ба хотиргирӣ, суръат ва дақиқӣ чӣ бояд диққат дод?

Чӣ тавр шумо Parquet-ро дақиқ мехондед?

Дар кадом ҳолатҳо View-и Materialized дар ClickHouse метавонад маълумотҳоро гузарад ё баръакс, онҳоро такрор кунад?

Манзараи Materialized View чист ва чӣ гуна аз View одатан фарқ мекунад?

Шумо бештар дӯст медоред, ки ҳамчун мутахассис дар шакли инфиродӣ кор кунед ё дар гурӯҳи таҳиягарон?

Middle

СБЕР

Партициронинг чист? Шардинг чист? Репликация чист?

Middle+

СБЕР

Чӣ гуна оғозҳо дар DBT оркестр мешаванд? Оё Airflow-ро истифода мебаред?

Middle+

СБЕР

Бо кадом манбаҳои маълумот кор кардаед? Чӣ гуна муносибат бо манбаҳо буд?

Вазифа #3 Мижозларни топиш керак, уларнинг буюртмалари орасидаги бўшлиқ > 60 кун. Ушбу мижозлар учун максимал бўшлиқ (gap_days) ни чиқариш. Буюртмалар жадвали: | order_id | customer_id | order_dt | |----------|-------------|------------| | 1 | 1 | [phone] | | 2 | 1 | [phone] | | 3 | 1 | [phone] | | 4 | 1 | [phone] | | 5 | 2 | [phone] | | 6 | 2 | [phone] | | 7 | 3 | [phone] | Якуний натижа: | customer_id | gap_days | |-------------|----------| | 1 | 123 | | 2 | 120 |

Middle

Островок

Чӣ тавр метавон дар бораи дурустии пурсиши зерин гап зад? select * from sessions where ended_at is null and status != 'pending';

[ном] пурсид: Чӣ бояд ба муҳаррики ҷадвал илова карда шавад, то маълумот дар ҳамаи нодҳои кластер навсозӣ шаванд?