Data Engineer

Kuidas hinnata konfiguratsiooni ühe terabaiti andmete üleandmiseks PostgreSQL-st ClickHouse'i?

Milliseid tehnoloogiaid kasutasite andmete saamiseks ja laadimiseks Parquet'i ning milliseid mehhanizme kasutati andmete saamiseks ja laadimiseks?

Middle

МВидео

Kas oled töötanud akna funktsioonidega? Milliseid akna funktsioone tead?

Middle

Aston

Lõplik tulemus: | customer_id | gap_days | |-------------|----------| | 1 | 123 | | 2 | 120 |

Middle

Островок

Millist tüüpi tüüp on Pythonis kasutusel: statiline või dünaamiline?

Middle

МТС

Meil on klientide tabel (id, nimi, aadress jne), tooted (id, nimi jne), toote liikumine (siin on meil klienti id, toode, kuupäev, kogus, summa), peame leidma, millised tooted müüdi 1. jaanuaril, ainult unikaalsed, ning samuti näitama ostja nime ja...

Middle

СБЕР

Millises meeskonnas ja millise juhtimise all tunnete end kõige mugavamalt töötades?

Kas teil on kogemusi Spark ülesannete optimeerimisel? Kas saaksite anda konkreetse näite?

Middle

Aston

Kāds bija tavs loma 4 cilvēku komandā un kā tu redzi savu karjeru pēc 3-4 gadiem, kādus mērķus izvirzi?

Middle

МВидео

Ladustamine oli ehitatud Data Vault skeemi järgi — kas sa seda ka arendasid, hooldasid? Kas sa käsitsi lisasid hub'e, lingid?

Middle

МВидео

Näitaval ekraanil on kaks andmestruktuuri; millises neist otsing väärtuse 2 on kiirem ja miks?

Kuidas sa mõistad võtmete kontseptsiooni tabelites — milleks see vajalik on?

Kuidas laadida andmeid Kafka-st ClickHouse'i reaalajas aruannete jaoks streaming'u kaudu?

Middle

МВидео

Rääkige Kafka põhikontseptsioonidest (tarbijarühm, jaotised, teemad).

Kuidas luua Airflow's palju samu ülesandeid paralleelselt (näiteks laadida palju samu faile)?

Milline töövorm sobib teile: kaugtöö, hübriid või kontoris?

Kas on võimalik vaadata tabeli skeemi enne Hive'is päringu täitmist?

Middle

Aston

Kuidas näete oma arengut uues meeskonnas ja milliste ülesannete kallal soovite kõige rohkem töötada?

Milleks kasutatakse dekoratoreid Apache Airflow's?

Logistikafirma aruande Olete logistikafirma analüütik, kes jälgib laoseadete operatsioone. Te peate koostama aruande iga laosea tõhususe kohta. Iga laosea kohta arvutage: • operatsioonide koguarv (count_operations); • laoseas töödeldud kaupade koguarv (sum_quantity); • operatsiooni keskmine töötlemisaeg (avg_processing_time), arvestades ainult neid operatsioone, millel on määratud aeg (mitte NULL), ümardatuna täisarvuks; • maksimaalne ja minimaalne kaupade arv, mis on töödeldud ühes operatsioonis (max_quantity, min_quantity); • iga tüüpi operatsioonide arv («tarne», «saadetis», «ülekanne») eraldi veergudes: supply_operations, shipment_operations, transfer_operations. Filtreerige laosead, mille koguarv on suurem kui 2 ja keskmine töötlemisaeg ei ületa 60 minutit. Sorteerige tulemus laosea ID järgi kasvavas järjekorras. Sisendi formaat Operatsioonide tabel: • operation_id (int) — operatsiooni unikaalne ID • warehouse_id (int) — laosea ID • operation_type (text) — operatsiooni tüüp: «tarne», «saadetis», «ülekanne»