Data Engineer
Bu real vaxtdır, Kafka və ClickHouse Spark arasında necə həyata keçirmək olar?
МВидеоBizə çox sürətli axınlar yaratmağa imkan verən pipeline mühərriki lazımdır — bu mexanizm müqavilələr və parametrlər daxil edilərək çox sürətli axınlar yaratmağa imkan verir. Bunu yuxarı səviyyədə necə həyata keçirərdin?
МВидеоHive-də bölmələmə necə işləyir və bu, fayl sistemində necə fiziki şəkildə təqdim olunur?
AstonGreenplum-da ACID riayət olunurmu?
МВидеоClickHouse-də məlumatların silinməsi üçün hansı üsullar mövcuddur?
Langchain kitabxanası ilə işləmə təcrübəniz varmı? Onun köməyi ilə hansı tapşırıqları həll etdiniz?
Iceberg, S3-dən verilənlər bazası yaratmağa imkan verən bir mühərrikdir, hətta ACID-ə də riayət edir. Onun mənfi tərəfi nədir?
МВидеоHDFS-də məlumatların bloklara bölünməsinin məqsədi nədir?
AstonVerilənlər bazasında ölü sətirlər nədir?
Airflow-da hansı operatorlardan istifadə etdiniz? Airflow vasitəsilə dbt ilə necə əlaqə qururdunuz?
Sorğu ilə əlaqədar olaraq, məlumatlarla nə baş verdiyini görə bilərik, hansı növ qoşulmalar — orada hansı növ qoşulmaları görə bilərik?
МВидео-- Əsas stretch cədvəli -- id üzrə NULL olmayan əvvəlki dəyərlə NULL-ləri doldurmaq lazımdır - aşağı doğru genişləndirmək id | ttime | val ---|-------|----- 1 | 07:30 | NULL 1 | 09:21 | 10 1 | 13:53 | NULL 1 | 16:12 | NULL 2 | 09:42 | 133 2 | 15:20 | NULL 2 | 21:33 | NULL 3 | 08:01 | NULL 3 | 11:41 | 8 3 | 14:23 | NULL 3 | 16:17 | NULL 3 | 19:54 | 2 4 | 13:10 | 312 4 | 14:42 | NULL 4 | 16:31 | 7 4 | 17:44 | NULL id | ttime | val ---|-------|----- 1 | 07:30 | NULL 1 | 09:21 | 10 1 | 13:53 | 10 1 | 16:12 | 10 2 | 09:42 | 133 2 | 15:20 | 133 2 | 21:33 | 133 3 | 08:01 | NULL 3 | 11:41 | 8 3 | 14:23 | 8 3 | 16:17 | 8 3 | 19:54 | 2 4 | 13:10 | 312 4 | 14:42 | 312 4 | 16:31 | 7 4 | 17:44 | 7 -- SQL sorğusu ilə istənilən cədvəli əldə etmək üçün SELECT id, ttime, COALESCE(val, LAST_VALUE(val) OVER(PARTITION BY id ORDER BY ttime)) as val FROM stretch
GIL (Global Interpreter Lock) nədir?
Sıfır və birlərdən ibarət sətir verilir. func() funksiyasını yazmaq lazımdır ki, ardıcıl olan birlərin ən çox sayını qaytarsın. Məsələn: func("010111011") -> 3
КуперOracle'da sorğu icra planını necə görmək olar? EXPLAIN PLAN ilə EXPLAIN ANALYZE arasındakı fərq nədir?
AstonTəsvir olunan komanda tərkibinə əsasən layihədə iştirakınızı necə görürsünüz?
Reklam kampaniyalaridagi foydalanuvchi faoliyatini tahlil qilish Kompaniya reklama kampaniyalari bilan bog'liq voqealarni hisobga oladi. Ikkita jadval taqdim etilgan: • campaigns — reklama kampaniyalari ro'yxati, ularning identifikatorlari va nomlari bilan; • events — kampaniyalarga oid foydalanuvchi voqealari, voqea turi (masalan, 'click' (bosish)) va vaqt bilan. Har bir kampaniya uchun quyidagi ko'rsatkichlar bilan hisobot tayyorlash kerak: • Umumiy voqealar soni. • Voqealarni amalga oshirgan yagona foydalanuvchilar soni. • Kampaniya bo'yicha birinchi va oxirgi voqea vaqti. • Kampaniya reytingi, umumiy voqealar soniga ko'ra kamayish tartibida. Reyting har bir satrga ma'lumotlar asosida berilgan raqamdir. Agar ikki yoki undan ortiq satrda bir xil qiymat bo'lsa, ular bir xil reyting oladi, ammo keyingi reyting o'tkazib yuboriladi. Hisobot faqat voqeasi bo'lgan kampaniyalarni o'z ichiga oladi: voqeasi bo'lmagan kampaniyalar hisobga olinmaydi. Yakuniy hisobot avval kampaniya reytingiga ko'ra o'sish tartibida, keyin campaign_name bo'yicha alfavit tartibida bo'lishi kerak. Kirish formati • campaign_name (string) — reklama kampaniyasining nomi • start_date (timestamp) — kampaniyaning boshlanish vaqti • end_date (timestamp) — kampaniyaning tugash vaqti Eventlar jadvali: • event_id (int) — voqea uchun yagona identifikator • user_id (int) — voqea uchun yagona identifikator • campaign_id (int) — kampaniyaning yagona identifikatori • event_type (string) — voqea turi, masalan, 'click' yoki 'conversion' • event_time (timestamp) — voqea vaqti Ma'lumotlar bo'sh yoki noto'g'ri qiymatlarni o'z ichiga olmaydi. Chiqish formati So'rov quyidagi maydonlarni o'z ichiga olgan jadvalni qaytarishi kerak: • campaign_name (string) — reklama kampaniyasining nomi • total_events (int) — kampaniya bilan bog'liq umumiy voqealar soni • unique_users (int) — voqealarni amalga oshirgan yagona foydalanuvchilar soni • first_event_time (timestamp) — kampaniyaning birinchi voqeasi vaqti • last_event_time (timestamp) — kampaniyaning oxirgi voqeasi vaqti • campaign_rank (int) — umumiy voqealar soniga ko'ra kampaniya reytingi Ma'lumotlarni kampaniya reytingiga ko'ra o'sish tartibida, va keyin campaign_name bo'yicha alfavit tartibida saralang.
Python-da generatorlər və siyahılar arasındakı fərq nədir?
Niyə aşağıdakı sorğu indeks istifadə etməyəcək, əgər records cədvəlində (id) sadə B-tree indeksi yaradılıbsa? select * from records where id % 2 = 0 - id üçün GIN tipi indeks lazımdır - İndekslər WHERE-də ifadələrlə işləməz - % müqayisə əməliyyatıdır, filtrasiya deyil - limit və offset indeks optimallaşdırması üçün vacibdir - Sorğu ədədi sahəyə müraciət edir, mətnə deyil
Bahalı rezervasyonların siyahısını hazırlayın Sual [Telefon] günündə, üzv (və ya qonaq) üçün 30 dollar və ya daha çox olan rezervasyonların siyahısını necə hazırlaya bilərsiniz? Qonaqların xərclərinin üzvlərdən fərqli olduğunu unutmayın (siyahıya alınan xərclər hər yarım saatlıq 'slot' üçün), və qonaq istifadəçisi həmişə ID 0-dır. Nəticənizə müəssisənin adını, tək sütun kimi formatlanmış üzv adını və xərci daxil edin. Xərclərə görə azalan sırayla sıralayın və alt sorğular istifadə etməyin.