Data Engineer

Kako proceniti konfiguraciju za prenos jednog terabajta podataka iz PostgreSQL u ClickHouse?

Koje tehnologije ste koristili za učitavanje podataka u Parquet i koje mehanizme ste koristili za dobijanje i učitavanje podataka?

Middle

МВидео

Da li si radio sa funkcijama prozora? Koje vrste funkcija prozora poznaješ?

Middle

Aston

Коначни резултати: | customer_id | gap_days | |-------------|----------| | 1 | 123 | | 2 | 120 | са cte като( изберете order_id, customer_id, order_dt, lag(order_dt) върху(разделяне по customer_id поред по order_dt) като prev_order_ft, datediff(ден, prev_order_ft, order_dt) като gap_days от Orders ) изберете customer_id, max(gap_days) като gap_days от cte където gap_days > 60 grupo по customer_id

Middle

Островок

Koja vrsta tipizacije se koristi u Pythonu: statička ili dinamička?

Middle

МТС

Imamo tabelu kupaca (id, ime, adresa itd.), proizvoda (id, naziv itd.), kretanje proizvoda (ovde imamo id kupca, proizvod, datum, količina, suma), potrebno je pronaći koje proizvode su prodali 1. januara, samo one jedinstvene, i takođe prikazati ime kupca i...

Middle

СБЕР

У којем тиму и под којим руководством вам је најудобније да радите?

Имате ли искуства у оптимизацији Spark задатака? Можете ли дати конкретан пример?

Middle

Aston

Koja je bila tvoja uloga u timu od 4 osobe i kako vidiš svoju karijeru za 3-4 godine, koje ciljeve postavljaš?

Middle

МВидео

Skladište je izgrađeno prema šemi Data Vault — i ti si ga razvijao, održavao? Ručno dodavao hubove, linkove?

Middle

МВидео

На приказаном екрану постоје две структуре података; у којој ће претрага вредности 2 бити бржа и зашто?

Kako razumeš koncept ključeva u tabelama — заšto je to potrebno?

Kako učitati podatke iz Kafka u ClickHouse putem streaminga za izveštaje u realnom vremenu?

Middle

МВидео

Ispričajte o osnovnim konceptima Kafka (grupa potrošača, particije, teme).

Kako u Airflow-u napraviti mnogo istih zadataka paralelno (na primer, učitati mnogo istih fajlova)?

Koji format rada vam odgovara: udaljeni, hibridni ili u kancelariji?

Може ли да се види шема табеле пре него што се изврши упит у Hive?

Middle

Aston

Kako vidite svoj razvoj u novom timu i kojim zadacima želite da se bavite najviše?

Zašto se koriste dekoratori u Apache Airflow?

Извештај за логистичка компанија Ви сте аналитичар у логистичкој компанији која води евиденцију о операцијама у складишту. Треба да припремите извештај о ефикасности сваког складишта. За сваки магацин израчунајте: • укупни број операција (count_operations); • укупни број обрађених роба у магацину (sum_quantity); • просечно време обраде операције (avg_processing_time), узимајући у обзир само операције са назначеним временом (не NULL), заокружено на најближи цео број; • максималан и минималан број роба обрађених у једној операцији (max_quantity, min_quantity); • број операција сваког типа («испорука», «испорука», «пренос») у посебним колонама: supply_operations, shipment_operations, transfer_operations. Филтрирајте магацине, чији је укупни број операција већи од 2 и просечно време обраде не прелази 60 минута. Реузултат сортирајте по ID-у магацина по растућем редоследу. Формат улаза Табела operations: • operation_id (int) — јединствени идентификатор операције • warehouse_id (int) — ID магацина • operation_type (text) — тип операције: «испорука», «испорука», «пренос»