Data Engineer

Kāda veida tipizācija tiek izmantota Python: statiska vai dinamiska?

Middle

МТС

Mums ir tabula ar klienti (id, vārds, adrese utt.), produkti (id, vārds utt.), preču kustība (šeit ir mums klients id, produkts, datums, daudzums, summa), mums jāatrod, kādi produkti tika pārdoti 1. janvārī, tikai unikālie, un arī jāparāda pircēja vārds un...

Middle

СБЕР

Kā salīdzināt sākotnējo („dzīvo”) un mērķa tabulu, ja avots pastāvīgi mainās?

Kā ir saistītas Spark sadalījumi un sadalījumi tabulās (piemēram, Iceberg)?

Kas ir shuffle Spark un kāpēc ir svarīgi to samazināt?

Middle

Aston

Kāda bija pēdējā Python uzdevums, ko risinājāt ražošanā?

Kad var izmantot CSV formātu ģimeni?

Middle

Aston

Kā risināt problēmu, kad lasīšanas process var redzēt tabulas starpposmu (nesaskaņotu stāvokli) daudzposmu ETL (delete+insert) laikā Iceberg?

Kā pandas piemēro funkciju visiem rindiņām vai elementiem?

Ko jāņem vērā, analizējot lielus XML failus, attiecībā uz atmiņu, ātrumu un precizitāti?

Kā tieši jūs lasījāt Parquet?

Kādos gadījumos Materialized View ClickHouse var izlaist datus vai, gluži pretēji, dublēt tos?

Kas ir Materialized View un kā tas atšķiras no parasta View?

Vai tev patīk vairāk strādāt kā eksperts individuāli vai izstrādātāju komandā?

Middle

СБЕР

Kas ir partizēšana? Kas ir sharding? Kas ir replikācija?

Middle+

СБЕР

Kā tiek organizēti izlaišanas DBT? Vai izmantojat Airflow?

Middle+

СБЕР

Ar kuriem datu avotiem jums izdevās strādāt? Kā tieši notika sadarbība ar avotiem?

Uzdevums #3 Jāatrod klienti, kuru pasūtījumu starpība ir lielāka par 60 dienām. Šiem klientiem jāparāda maksimālā starpība (gap_days). Pasūtījumu tabula: | order_id | customer_id | order_dt | |----------|-------------|------------| | 1 | 1 | [phone] | | 2 | 1 | [phone] | | 3 | 1 | [phone] | | 4 | 1 | [phone] | | 5 | 2 | [phone] | | 6 | 2 | [phone] | | 7 | 3 | [phone] | Galarezultāts: | customer_id | gap_days | |-------------|----------| | 1 | 123 | | 2 | 120 |

Middle

Островок

Ko var teikt par šīs vaicājuma pareizību? select * from sessions where ended_at is null and status != 'pending';

[vārds] jautāja: Ko vajadzētu pievienot tabulu dzinējam, lai dati būtu aktuāli visās klastera mezglos?