Data Engineer

Kokio tipo tipizacija naudojama Python: statinė ar dinaminė?

Middle

МТС

Mūsų klientų lentelėje yra (id, vardas, adresas ir kt.), produktai (id, pavadinimas ir kt.), prekių judėjimas (čia turime kliento id, prekės, data, kiekis, suma), turime rasti, kurios prekės buvo parduotos sausio 1 d., tik unikalios, ir taip pat parodyti pirkėjo vardą ir...

Middle

СБЕР

Kaip palyginti pradinį („gyvą“) ir tikslinį sąrašą, jei šaltinis nuolat keičiasi?

Kaip susijusios Spark skaidymo dalys ir skaidymo dalys lentelėse (pavyzdžiui, Iceberg)?

Kas yra shuffle Spark ir kodėl svarbu jį sumažinti?

Middle

Aston

Kokia paskutinė užduotis Python kalba, kurią sprendėte gamyboje?

Kada galima naudoti CSV formatų šeimą?

Middle

Aston

Kaip išspręsti problemą, kai skaitymo procesas gali matyti tarpinį (nesuderintą) lentelės būseną daugiaetapiame ETL (delete+insert) Iceberg'e?

Kaip pandas'e taikyti funkciją visiems eilutėms ar elementams?

Į ką reikėtų atkreipti dėmesį analizuojant didelius XML failus, kalbant apie atmintį, greitį ir tikslumą?

Kaip tiksliai skaitėte Parquet?

Kokiais atvejais Materialized View ClickHouse gali praleisti duomenis arba, priešingai, juos dubliuoti?

Kas yra Materialized View ir kaip jis skiriasi nuo įprasto View?

Ar labiau mėgsti dirbti kaip ekspertas individualiai ar komandoje programuotojų?

Middle

СБЕР

Kas yra partizavimas? Kas yra sharding? Kas yra replikacija?

Middle+

СБЕР

Kaip organizuojami leidimai DBT? Naudojate Airflow?

Middle+

СБЕР

Su kokiomis duomenų šaltiniais dirbote? Kaip tiksliai vyko sąveika su šaltiniais?

Užduotis #3 Raskite klientus, kurių užsakymų tarpas yra didesnis nei 60 dienų. Šiems klientams parodykite didžiausią tarpą (gap_days). Užsakymų lentelė: | order_id | customer_id | order_dt | |----------|-------------|------------| | 1 | 1 | [phone] | | 2 | 1 | [phone] | | 3 | 1 | [phone] | | 4 | 1 | [phone] | | 5 | 2 | [phone] | | 6 | 2 | [phone] | | 7 | 3 | [phone] | Galutinis rezultatas: | customer_id | gap_days | |-------------|----------| | 1 | 123 | | 2 | 120 |

Middle

Островок

Ką galima pasakyti apie šios užklausos teisingumą? select * from sessions where ended_at is null and status != 'pending';

[vardas] paklausė: Ką reikia pridėti prie lentelių variklio, kad duomenys būtų atnaujinami visuose klasterio mazguose?