Data Engineer

ClickHouse'da yozuvlarni o'chirish yoki o'zgartirishda qanday jarayonlar boshlanadi?

Middle

МВидео

Refaktorlash va optimallashtirish o'rtasidagi farq nima?

Qachon ma'lumotlarni saqlashga ehtiyojimiz yo'q?

Kafka vazifasi: ishlab chiqaruvchi mahsulot narxi o'zgarishlarini yuboradi (200 rubl, keyin 300 rubl), iste'molchi 3 ta podda replikatsiya qilinadi. Standart konfiguratsiyada muammo bo'ladimi?

Oynash funktsiyalar bilan ishlagansizmi? Qaysi turdagi oynali funktsiyalarni bilasiz?

Middle

Aston

Biz ma'lumotlarni kirish sifatida taqdim etamiz, va u bu ma'lumotlar asosida oqim yaratadi — bu eski tizimlardan rejalashtirilgan tizimlarga mavjud oqimlarni tezda ko'chirishga qanday yordam beradi?

Middle

МВидео

Python'da qanday tiplash turi qo'llaniladi: statik yoki dinamik?

Middle

МТС

JOIN jadvalari va foydalanuvchilar jadvalida user_id bo'yicha skew (egilishni) qanday boshqarish mumkin? Optimal taqsimlash kalitini qanday tanlash kerak?

Retail do'konida toifalar bo'yicha savdolar tahlili Siz chakana do'konda tahlilchisiz. Sizning vazifangiz — toifalar bo'yicha savdolar haqida hisobot tuzish, quyidagi hisob-kitoblar bilan: • toifada sotilgan umumiy birliklar soni (total_units_sold); • chegirmalarni hisobga olgan holda toifa bo'yicha umumiy daromad, bu yerda chegirma unit_price × units_sold × (1 − discount/100) shaklida hisoblanadi. Agar chegirma NULL bo'lsa, 0% deb hisoblang. Ikki raqamli aniqlik bilan yaxlitlang; • har bir savdoda o'rtacha sotilgan birliklar soni (avg_units_per_sale), ikki raqamli aniqlik bilan yaxlitlangan; • chegirmasiz savdolar ulushi (no_discount_share) — NULL yoki 0% chegirmali savdolar soni, toifadagi umumiy savdolar soniga bo'lingan va uch raqamli aniqlik bilan yaxlitlangan. Natijalarni avvalo umumiy daromad (total_revenue) bo'yicha kamayish tartibida, keyin har bir savdoda o'rtacha sotilgan birliklar soni (avg_units_per_sale) bo'yicha oshish tartibida, va oxirida toifalar nomi bo'yicha alfavit tartibida saralang. Kiritish formati Sales jadvali: • sale_id (int) — savdoning yagona identifikatori • product_id (int) — mahsulot identifikatori • category (text) — mahsulot toifasi • sale_date (timestamp) — savdo sanasi va vaqti • units_sold (int) — sotilgan birliklar soni • unit_price (numeric) — birlik narxi • discount (numeric) — chegirma foizi, NULL bo'lishi mumkin discount ustuni bo'sh qiymatlarni o'z ichiga olishi mumkin. Chiqish formati So'rov quyidagi maydonlarni o'z ichiga olgan jadvalni qaytarishi kerak: • category (text) — mahsulot toifasi • total_units_sold (int) — bu toifada sotilgan umumiy birliklar soni • total_revenue (numeric) — toifaga ko'ra umumiy daromad, ikki raqamli aniqlik bilan yaxlitlangan • avg_units_per_sale (numeric) — har bir savdoda o'rtacha birliklar soni, ikki raqamli aniqlik bilan yaxlitlangan • no_discount_share (numeric) — chegirmasiz savdolar ulushi (0 dan 1 gacha bo'lgan qiymat), uch raqamli aniqlik bilan yaxlitlangan Natija avvalo total_revenue bo'yicha kamayish tartibida, keyin avg_units_per_sale bo'yicha oshish tartibida va oxirida toifa nomi bo'yicha alfavit tartibida saralanadi.

Saqlash Data Vault sxemasiga muvofiq qurilganmi — siz ham uni rivojlantirdingiz, qo'llab-quvvatladingizmi? Qo'lda hublar, linklar qo'shdingizmi?

Middle

МВидео

Ma'lumotlarni teng taqsimlash uchun to'g'ri sharding kalitini qanday tanlash mumkin?

Yangi MVni ishga tushirishdan oldin mavjud bo'lgan ma'lumotlarni to'g'ri to'ldirish uchun, oraliq ReplacingMergeTree jadvali orqali Materialized View zanjirini qanday boshqarardingiz?

Jadvalardagi kalitlar tushunchasini qanday tushunasiz — bu nima uchun kerak?

Kafka'dan ClickHouse'ga real vaqt hisobotlari uchun streaming orqali ma'lumotlarni qanday yuklash mumkin?

Middle

МВидео

ClickHouse'da bir asosiy kalit nima va u odatdagi bazalardagi asosiy kalitdan qanday farq qiladi?

docker run va docker exec buyruqlari qanday farq qiladi?

Qaysi SQL operatorlari guruhlarini bilasiz? Ular nimaga tegishli?

Middle

СБЕР

Spark'dagi Catalyst optimizatori nima va u qanday aniq optimallashtirishlarni amalga oshiradi (masalan, predicate pushdown)?

Python'da lug'at (dict) dan kalit bo'yicha elementni olishning algoritmik murakkabligi qanday?

Middle

МТС

Manba doimiy o'zgarganda, asl ("jonli") va maqsad jadvalini qanday solishtirish mumkin?