Data Engineer

UNION va UNION ALL ning farqi nima? Qaysi shartlar bajarilishi kerak?

Middle

СБЕР

Git LFS qanday texnik ishlashini va katta fayllar bilan ishlashda oddiy Git bilan solishtirganda qanday afzalliklar taqdim etishini tushuntiring.

Greenplum qaysi turga ko'proq tegishli — OLTP yoki OLAP?

Middle

МВидео

Python yordamida ZIP ichidagi katta XML fayllarini qanday tahlil qilish va ClickHouse ga yuklash mumkin?

Ma'lumotlarni tez yuklashda (Postgresda COPY, BULK INSERT) ma'lumotlar bazasi nima uchun qurbon bo'ladi?

Merge Join qanday ishlaydi (sortlash bilan birlashtirish)?

Middle+

СБЕР

Git bisect bilan ishlash jarayonida, kerakli muhitning mavjud emasligi sababli tekshirib bo'lmaydigan commit bilan duch keldingiz. Bu holatda nima qilish kerak? - Boshqa hash'lar bilan git bisect start buyruqini takrorlang - Bu commitni git bisect skip buyruği bilan o'tkazib yuboring - git bisect reset buyruği bilan bisectni reset qiling - Commitni git bisect good buyruği bilan yaxshi deb belgilash - Commitni git bisect bad buyruği bilan yomon deb belgilash

ClickHouse'da partition nima va uni qanday tamoyil bilan tanlashadi?

ClickHouse'da OPTIMIZE nima qiladi va uni o'ylamasdan ishga tushirmaslik kerakmi?

Bot trafikining ulushi Antifraud jamoasi saytida bot trafikini aniqlash mexanizmini ishlab chiqdi: bot saytga kirganida, uning URL parametrlariga "bot" (katta-kichik harf farqi qilmasdan) subqatori qo'shiladi. Agar user_id dekabr oyida kamida bir marta bot sifatida aniqlangan bo'lsa, u har doim bot sifatida hisoblanadi. Foydalanuvchilarning saytga tashriflari bo'yicha ma'lumotlar to'plamini o'rganing va 2024 yil dekabr oyida umumiy foydalanuvchilar soniga nisbatan botlarning ulushini hisoblang (bir o'nlik xonaga yaxlitlang). Kirish formati Jadval visits: - event_date (date) — tashrif sanasi - user_id (int) — foydalanuvchining yagona identifikatori - url (string) — o'tish amalga oshirilgan havola Ma'lumotlar bo'sh yoki noto'g'ri qiymatlarni o'z ichiga olmaydi. Chiqish formati So'rov quyidagi maydonlarga ega jadvalni qaytarishi kerak: - share (float) — dekabr oyida umumiy foydalanuvchilar soniga nisbatan botlarning ulushi, bir o'nlik xonaga yaxlitlangan.

ClickHouse'dan ma'lumotlarni qanday o'chirish mumkin?

Qaysi muammolarni izlash aniqlay oladi?

Nima uchun aynan DBT ni tanladingiz? Bu framework ning qanday afzalliklari va kamchiliklari bor deb o'ylaysiz?

Middle+

СБЕР

EXPLAIN va EXPLAIN ANALYZE o'rtasidagi farq nima?

Airflow'da DAG/vazifa da idempotentlik nima?

SQL injektsiyasi nima?

YARN nima va u nima uchun kerak?

Middle

Aston

ClickHouse'da siqishtirish qanday ishlaydi?

Berilgan ikki jadval t1 va t2. Vazifa - biladigan barcha join turlarini va ularning har biri uchun so'rov natijasini chiqarish select * from t1 <join> t2 on t1.t = t2.t. |t1.t| ------ 1 2 4 null ------ |t2.t| ------ 1 3 null null cross 1 1 - null null - INNER JOIN [phone] LEFT JOIN 1 - 1 2 - NULL 4 - NULL NULL - NULL RIGHT JOIN [phone] NULL - 3 NULL - NULL NULL - NULL FULL JOIN [phone] - NULL 4 - NULL NULL - 3 null - NULL null - NULL null - NULL

Middle

Купер

PostgreSQL'da VACUUM nima? U nima uchun kerak?