Data Engineer

Ako vyhodnotiť konfiguráciu pre prenos jedného terabajtu dát z PostgreSQL do ClickHouse?

Aké technológie ste použili na načítanie údajov do Parquet a aké mechanizmy boli použité na získanie a načítanie údajov?

Middle

МВидео

Konečný výsledok: | customer_id | gap_days | |-------------|----------| | 1 | 123 | | 2 | 120 | s cte ako( vyberte order_id, customer_id, order_dt, lag(order_dt) přes(částice podle customer_id řadit podle order_dt) jako prev_order_ft, datediff(dňa, prev_order_ft, order_dt) jako gap_days z Orders ) vyberte customer_id, max(gap_days) jako gap_days z cte kde gap_days > 60 group by customer_id

Middle

Островок

Máme tabuľku zákazníkov (id, meno, adresa atď.), produkty (id, názov atď.), pohyb tovaru (tu máme id zákazníka, tovar, dátum, množstvo, suma), je potrebné zistiť, aké produkty boli predané 1. januára, iba tie jedinečné, a tiež zobraziť meno kupujúceho a...

Middle

СБЕР

V akom tíme a pod akým vedením sa cítite najpohodlnejšie pri práci?

Úložisko bolo postavené podľa schémy Data Vault — ty si ho tiež rozvíjal, udržiaval? Ručne pridával huby, linky?

Middle

МВидео

Ako rozumiete konceptu kľúčov v tabuľkách — na čo sú potrebné?

Aký formát práce vám vyhovuje: na diaľku, hybridný alebo v kancelárii?

Je možné si pred vykonaním dotazu v Hive pozrieť schému tabuľky?

Middle

Aston

Ako vidíte svoj rozvoj v novom tíme a s akými úlohami by ste chceli tráviť najviac času?

Na čo sa používajú dekorátory v Apache Airflow?

Čo je RDD v Apache Spark a čím sa líši od iných abstrakcií Spark?

Aké typy kľúčov/stratégií distribúcie existujú v Greenplum?

Máte skúsenosti s optimalizáciou úloh Spark? Môžete uviesť konkrétny príklad?

Middle

Aston

Aká bola tvoja úloha v tíme z 4 ľudí a ako vidíš svoju kariéru za 3-4 roky, aké ciele si stanovíš?

Middle

МВидео

V PostgreSQL hlavička verzie riadku obsahuje parameter xmax. Akú úlohu zohráva v riadení transakcií? - Na vytvorenie jedinečného identifikátora riadku v tabuľke - Na kontrolu viditeľnosti riadku inými transakciami - Na označenie čísla transakcie, ktorá riadok odstránila alebo aktualizovala - Na zablokovanie riadku pred súčasnými zmenami viacerými transakciami - Na určenie maximálnej hodnoty, ktorá môže byť zapísaná do číselného stĺpca

Ako v Airflow vytvoriť veľa rovnakých úloh paralelne (napríklad nahrať veľa rovnakých súborov)?

Čo je VACUUM v PostgreSQL? Aké typy existujú? Môže sa použiť v produkcii?

Pracoval si s oknovými funkciami? Aké druhy oknových funkcií poznáš?

Middle

Aston

Aký typ typizácie sa používa v Pythone: statická alebo dynamická?

Middle

МТС