Data Engineer

Partitsiyalash haqida gapir. Qaysi qiziqarli operatsiyalarni bajarishga majbur bo'lding?

Spark'da sustli va darhol hisoblashlarni tushuntiring.

Middle

Островок

Logistika korxonasiga hisobot Siz logistika korxonasida omborlardagi operatsiyalarni hisobga oladigan tahlilchisiz. Har bir omborning samaradorligi haqida hisobot tayyorlashingiz kerak. Har bir ombor uchun hisoblang: • umumiy operatsiyalar soni (count_operations); • omborda ishlov berilgan umumiy mahsulotlar soni (sum_quantity); • faqat belgilangan vaqt bilan (NULL bo'lmagan) operatsiyalarni hisobga olgan holda, o'rtacha ishlov berish vaqti (avg_processing_time), butun son bilan yaxlitlangan; • bir operatsiyada ishlov berilgan maksimal va minimal mahsulotlar soni (max_quantity, min_quantity); • har bir turdagi operatsiyalar soni («yetkazib berish», «jo'natish», «otransfer») alohida ustunlarda: supply_operations, shipment_operations, transfer_operations. Umumiy operatsiyalar soni 2 dan ortiq bo'lgan va o'rtacha ishlov berish vaqti 60 daqiqadan oshmaydigan omborlarni filtrlash. Natijani ombor ID bo'yicha o'sish tartibida saralash. Kiritish formati Operationlar jadvali: • operation_id (int) — operatsiya identifikatori • warehouse_id (int) — ombor identifikatori • operation_type (text) — operatsiya turi: «yetkazib berish», «jo'natish», «otransfer»

Umumiy ravishda munosabatli ma'lumotlar bazalari haqida gapir — bu nima?

CROSS JOIN nima? Bunday bilan ishladingizmi?

Middle

СБЕР

Siz loyihalashtirgan Data Vault 2.0 ma'lumotlar sxemasi haqida gapirib bering

Trassirovka nima? Uning bilan ishlash tajribangiz bormi?

Fitness klublarida tashriflar tahlili Siz fitness klublari tarmog'ida tahlilchi sifatida ishlayapsiz. Sizda foydalanuvchilarning tashriflari va ular sotib olgan a'zo bo‘lishlari haqida ma'lumotlar mavjud. A'zo bo‘lishlarning samaradorligini tahlil qilish kerak. Har bir a'zo tur uchun quyidagilarni hisoblang: • Bu turdagi a'zo bo‘lgan umumiy foydalanuvchilar soni. Faqatgina unikal user_id larni hisobga oling; • Bu a'zo bilan bog‘liq umumiy tashriflar soni. Bu a'zo bilan bog‘liq barcha tashriflarni hisobga oling; • Bu a'zo turining umumiy foydalanuvchilar soniga nisbatan foizdagi ulushi (bir o'nlik bilan yaxlitlangan). Foydalanuvchilar ulushini hisoblash uchun, bu turdagi a'zo sonini umumiy unikal foydalanuvchilar soniga bo'ling. Har bir foydalanuvchi faqat bitta a'zo bo‘lishi mumkin. Natijani a'zo turi bo‘yicha alfavit tartibida saralang. Kirish formati Jadval memberships: • membership_id (int) — a'zo identifikatori • user_id (int) — foydalanuvchi identifikatori • membership_type (text) — a'zo turi Jadval visits:

T1 (10 satr) va T2 (5 satr) jadvallari bor, ikkalasida ham ID maydoni mavjud. Bu jadvallarni INNER JOIN va LEFT JOIN qilishda chiqishda maksimal va minimal nechta satr bo'lishi mumkin?

Middle

СБЕР

Data Vault qulay vosita, lekin ob'ektlar ko'p bo'lib qolgan. Hublar, linklar va satelitlar o'rtasidagi farqni tushuntirib bera olasizmi?

Middle

МВидео

[ism] matn ichida xatolar va uslubni to'g'irladi: «Salom! Men [ism], ilgari Telegramga o'tishni so'ragan eding» — odob bilan, lekin samimiy tarzda

Python'da dekoratorlar bilan ishlaganmisiz? Ular nima va qayerda qo'llaniladi?

Middle

Островок

Jadval va so'rovlarni qanday optimallashtirdilar: bo'linmalar, indekslar, tanlash mantiqi?

Middle+

Лига Цифровой Экономики

Spark'da shuffle xavfi nima?

Middle

Островок

Python'da lug'at (dict) dan kalit bo'yicha elementni olishning algoritmik murakkabligi qanday?

Middle

МТС

So'rov uzoq davom etganda va to'liq skanerlash amalga oshirilganda optimallashtirish muammolarini qanday hal qildingiz? Yangi shunday vazifaga qanday yondashardingiz?

Foydalanuvchi uchun joriy va oldingi ikki kunlik buyurtma summalarining harakatli o'rtachasini qanday qo'shish mumkin?

Spark'da shuffle nima va nima uchun kerak?

Manbadan inkrementni ushlash algoritmini batafsil tushuntiring, yuklash chastotasini o'zgartirganda hech narsa yo'qotilmasligi uchun.

Qaysi jamoa va qaysi rahbarlik ostida ishlash sizga eng qulay?