Data Engineer

PostgreSQL-dən ClickHouse-a bir terabayt məlumat köçürmək üçün konfiqurasiyanı necə qiymətləndirmək olar?

Parquet-ə məlumatların yüklənməsi üçün hansı texnologiyalardan istifadə etdiniz və məlumatları alma və yükləmək üçün hansı mexanizmlər istifadə olundu?

Middle

МВидео

Pəncərə funksiyaları ilə işlədinizmi? Hansı pəncərə funksiyaları növlərini bilirsiniz?

Middle

Aston

Nəticə: | customer_id | gap_days | |-------------|----------| | 1 | 123 | | 2 | 120 | with cte as( select order_id, customer_id, order_dt, lag(order_dt) over(partition by customer_id order by order_dt) as prev_order_ft, datediff(day, prev_order_ft, order_dt) as gap_days from Orders ) select customer_id, max(gap_days) as gap_days from cte where gap_days > 60 group by customer_id

Middle

Островок

Python-da hansı tip təyini istifadə olunur: statik və ya dinamik?

Middle

МТС

Müştərilər (id, ad, və s.), məhsullar (id, ad, və s.), məhsul hərəkəti (burada müştəri id, məhsul, tarix, miqdar, cəm), 1 yanvar tarixində satılan məhsulları tapmaq lazımdır, yalnız unikal olanlar və həmçinin alıcının adını və... göstərmək

Middle

СБЕР

Hansı komanda və hansı rəhbərlik altında işləmək sizin üçün ən rahatdır?

Spark tapşırıqlarının optimallaşdırılması təcrübəniz varmı? Konkret nümunə göstərə bilərsinizmi?

Middle

Aston

Dörd nəfərlik komandada sənin rolun nə idi və 3-4 il sonra karyeranı necə görürsən, hansı məqsədlər qoyursan?

Middle

МВидео

Yaddaş Data Vault sxeməsinə uyğun inşa edilib — sən də onu inkişaf etdirdin, dəstəklədin? Əl ilə hub və linklər əlavə etdinizmi?

Middle

МВидео

Göstərilən ekranda iki məlumat strukturu var; hansında 2 dəyərinin axtarışı daha sürətli olacaq və niyə?

Cədvəllərdə açar anlayışını necə başa düşürsünüz — bunun üçün nə lazımdır?

Kafka-dan ClickHouse-a məlumatların axın vasitəsilə real vaxt hesabatları üçün necə yüklənməsi olar?

Middle

МВидео

Kafka-nın əsas anlayışları haqqında danışın (istehlakçı qrupu, bölmələr, mövzular).

Airflow-da çox sayda eyni tapşırıq necə yaradılır (məsələn, çox sayda eyni fayl yükləmək)?

Hansı iş formatı sizə uyğundur: uzaqdan, hibrid və ya ofisdə?

Hive-də sorğu icra etməzdən əvvəl cədvəl sxeməsini görə bilərikmi?

Middle

Aston

Yeni komandada öz inkişafınızı necə görürsünüz və ən çox hansı tapşırıqlarla məşğul olmaq istəyirsiniz?

Apache Airflow-də dekoratorlar nə üçün istifadə olunur?

Logistika şirkəti üçün hesabat Siz logistika şirkətində anbarlardakı əməliyyatları qeyd edən analistsiniz. Hər anbarın effektivliyi haqqında hesabat hazırlamalısınız. Hər anbar üçün hesablayın: • ümumi əməliyyatların sayı (count_operations); • anbarın işlənmiş ümumi malların sayı (sum_quantity); • yalnız göstərilən vaxtla (NULL olmayan) əməliyyatlar nəzərə alınaraq, orta işləmə vaxtı (avg_processing_time), tam ədədə yuvarlaqlaşdırılmış; • bir əməliyyatda işlənmiş maksimum və minimum malların sayı (max_quantity, min_quantity); • hər bir növ əməliyyatların sayı («təchizat», «göndərmə», «köçürmə») ayrıca sütunlarda: supply_operations, shipment_operations, transfer_operations. Toplam əməliyyat sayı 2-dən çox olan və orta işləmə vaxtı 60 dəqiqədən çox olmayan anbarları filtrləyin. Nəticəni anbar ID-yə görə artan sırayla sıralayın. Daxil etmə formatı Əməliyyatlar cədvəli: • operation_id (int) — əməliyyatın unikal identifikatoru • warehouse_id (int) — anbar identifikatoru • operation_type (text) — əməliyyat növü: «təchizat», «göndərmə», «köçürmə»