Data Engineer

Инкрементал жана толук жүктөөлөр менен иштедиңби? Көбөйтүүлөр менен кантип күрөштүң?

Middle

Aston

Git Flow жаңы колдонмонун чыгарылышын кандайча расмий түрдө белгилөө керектигин сунуштайт? - Жаңы issue-шакын түзүү менен - masterтен hotfix-шак түзүү менен - developтен өзүнчө release-шак түзүү менен - түздөн-түз commit кылуу менен master-shакка - master-shакты түздөн-түз develop менен бириктирүү менен

[аты] суроо берди: Кайсы колонкалар Nullable болушу керек жана аны DDLде кантип белгилөө керек?

Тандоо * Маалыматтар базасынан1 катары t1 сол жактан JOIN маалыматтар базасынан2 катары t2 ON t1.date_start > t2.date_start --DML Эгер жок болсо Employee таблицасын түзүү (id int, salary int, departmentId int); Employeeге кошуу (id,salary,departmentId) баалуулары менен (1, 70000, 1),(2, 94000, 1),(3, 85000, 1),(4, 80000, 2),(5, 60000, 2),(6, 62000, 3),(7, 90000, 3),(8, 94000, 3),(9, 94000, 3); cte катары( тандаңыз *, rank() over(partition by departmentId order by salary desc) катары max_salary Employeeден ) тандаңыз * from cte кайда max_salary = 1

Кайсы физикалык JOINдерди билесиз?

Middle

СБЕР

Логистикалык компания үчүн отчет Сиз логистикалык компаниянын аналитикасыңыз, ал складдардагы операцияларды эсепке алат. Сиз ар бир складдын иштөө эффективдүүлүгү боюнча отчет түзүшүңүз керек. Ар бир склад үчүн эсептеңиз: • жалпы операциялар саны (count_operations); • сактагычта иштетилген товарлардын жалпы саны (sum_quantity); • операциянын орточо иштетүү убактысы (avg_processing_time), белгиленген убакыт менен гана операциялар үчүн (NULL эмес), бүтүн санга жакындатылган; • бир операцияда иштетилген товарлардын максималдуу жана минималдуу саны (max_quantity, min_quantity); • ар бир түрдөгү операциялардын саны («жеткирүү», «жөнөтүү», «айырмалоо») өзүнчө колонкаларда: supply_operations, shipment_operations, transfer_operations. Жалпы операциялар саны 2ден ашкан жана орточо иштетүү убактысы 60 мүнөттөн ашпаган складтарды фильтрлөө. Натыйжаны склад ID боюнча өсүүчү тартипте сорттоо. Кирүү форматы Operation таблицасы: • operation_id (int) — операциянын уникалдуу идентификатору • warehouse_id (int) — складдын идентификатору • operation_type (text) — операциянын түрү: «жеткирүү», «жөнөтүү», «айырмалоо» • quantity (int) — операциядагы товарлардын саны • operation_date (timestamp) — операциянын датасы жана убактысы • processing_time (int) — операциянын иштетүү убактысы processing_time колонки пропусктарды камтышы мүмкүн. Чыгуу форматы Суроо төмөнкүдөй багыттагы таблицаны кайтаруусу керек: • warehouse_id (int) — складдын уникалдуу идентификатору • count_operations (int) — складта жүргүзүлгөн жалпы операциялар саны • sum_quantity (int) — складта иштетилген товарлардын жалпы саны • avg_processing_time (numeric) — операциянын орточо иштетүү убактысы (минутта), NULL эмес убакыт менен операциялар үчүн, бүтүн санга жакындатылган • max_quantity (int) — бир операцияда иштетилген эң көп товар саны • min_quantity (int) — бир операцияда иштетилген эң аз товар саны • supply_operations (int) — «жеткирүү» операцияларынын саны • shipment_operations (int) — «жөнөтүү» операцияларынын саны • transfer_operations (int) — «айырмалоо» операцияларынын саны

Airflow-деги catchup/backfill учурунда болжол менен 700 DAG ишин бир мезгилде башталышынан кантип сактануу керек?

Middle

Островок

ClickHouse-догу таблица кыймылдаткычтарын кайсынысы менен билесиз жана колдондуңуз?

Өткөн долбооруң жөнүндө айтып бер, кандай милдеттериң болчу?

Middle

Aston

Greenplum жөнүндө айтып бер — маалымат сактоо форматтары, саптык жана баганалык сактоо.

Маалымат бериңиз, коддоо менен кошо бош убактыңызда эмне кылууну жактырасыз? Сиздин хоббилериңиз кандай?

Маалыматтар базасын башкаруу системалары жана суроолорду оптималдаштыруу контекстинде статистика эмне?

Greenplum-та маалыматтарды кайсы талаалар боюнча бөлдүңүз?

Middle

Альфа-Банк

-- Ике же андан көп күн үздүксиз саяхаттаган бардык жүргүнчүлөрдү табуу

Airflowда pipeline түзүп жатканда, junk data (жараксыз/пайдалуу эмес маалыматтар) маселесин кантип чечтиңиз?

Middle

Альфа-Банк

ClickHouse'ta JOIN кантип иштейт?

RANK менен DENSE_RANKтин айырмасы неде?

Middle

Aston

Кайсы түрдөгү таратуу түрлөрүн колдондуңуз? Таратуу ачкычын кантип тандадыңыз?

ORDER BY, ClickHouse таблицасына кандай таасир этет жана кайсы ачкычтарды тандап алуу жакшы?

Беш Git буйруктарды атаңыз.