Data Engineer

Python'da qanday tiplash turi qo'llaniladi: statik yoki dinamik?

Middle

МТС

Bizda mijozlar jadvali (id, ism, manzil va boshqalar), mahsulotlar (id, nomi va boshqalar), mahsulot harakati (bu yerda mijoz id, mahsulot, sana, miqdor, summa), 1-yanvar kuni sotilgan mahsulotlarni topishimiz kerak, faqat noyoblar va shuningdek, xaridorning ismi va... ko'rsatish

Middle

СБЕР

Manba doimiy o'zgarganda, asl ("jonli") va maqsad jadvalini qanday solishtirish mumkin?

Spark bo'linmalari va jadvallar (masalan, Icebergda) bo'linmalar qanday bog'liq?

Sparkda shuffle nima va uni minimallashtirish muhimmi?

Middle

Aston

So'nggi ishlab chiqarishda Python bilan hal qilgan vazifangiz nima edi?

CSV formatlari oilasidan qachon foydalanish mumkin?

Middle

Aston

Iceberg'da ko'p bosqichli ETL (delete+insert) davomida o'qish jarayoni jadvalning oraliq (noto'g'ri) holatini ko'rishi mumkin bo'lsa, bu muammoni qanday hal qilish mumkin?

Pandasda barcha satrlar yoki elementlarga qanday funktsiya qo'llash mumkin?

Katta XML fayllarini tahlil qilishda xotira, tezlik va to'g'rilik bo'yicha nima e'tibor berish kerak?

Parquetni qanday o'qiganingizni aniq ayting.

ClickHouse'da Materialized View qachon ma'lumotlarni o'tkazib yuborishi yoki aksincha, ularni takrorlashi mumkin?

Materialized View nima va u oddiy View dan qanday farq qiladi?

Siz o'zingizni mutaxassis sifatida individual tarzda yoki dasturchilar jamoasida ishlashni afzal ko'rasizmi?

Middle

СБЕР

Partitsiyalash nima? Sharding nima? Replikatsiya nima?

Middle+

СБЕР

DBTda chiqarilishlar qanday boshqariladi? Airflowni ishlatasizmi?

Middle+

СБЕР

Qaysi ma'lumot manbalar bilan ishlash imkoniyati bo'ldi? Manbalar bilan qanday aloqada bo'ldi?

Vazifa #3 Mijozlarni topish kerak, ularning buyurtmalari orasidagi bo'shliq > 60 kun. Ushbu mijozlar uchun maksimal bo'shliq (gap_days) ni chiqarish. Buyurtmalar jadvali: | order_id | customer_id | order_dt | |----------|-------------|------------| | 1 | 1 | [phone] | | 2 | 1 | [phone] | | 3 | 1 | [phone] | | 4 | 1 | [phone] | | 5 | 2 | [phone] | | 6 | 2 | [phone] | | 7 | 3 | [phone] | Natija: | customer_id | gap_days | |-------------|----------| | 1 | 123 | | 2 | 120 |

Middle

Островок

Quyidagi so'rovning to'g'riligi haqida nima deyish mumkin? select * from sessions where ended_at is null and status != 'pending';

[ism] so'radi: Ma'lumotlar klasterdagi barcha tugunlarda yangilangan holda saqlanishi uchun jadval motoriga nima qo'shish kerak?