Data Engineer
Kādus fiziskos JOIN-us pazīstat?
СБЕРUzrakstiet vienkāršu DAG Apache Airflow
Ziņojums loģistikas uzņēmumam Jūs esat loģistikas uzņēmuma analītiķis, kurš uzrauga noliktavu operāciju uzskaiti. Jums jāizstrādā ziņojums par katra noliktavas efektivitāti. Katrā noliktavā aprēķiniet: • kopējo operāciju skaitu (count_operations); • noliktavā apstrādāto preču kopējo daudzumu (sum_quantity); • vidējo operācijas apstrādes laiku (avg_processing_time), ņemot vērā tikai operācijas ar norādīto laiku (ne NULL), noapaļotu līdz veselam skaitlim; • maksimālo un minimālo preču daudzumu, apstrādātu vienā operācijā (max_quantity, min_quantity); • katra veida operāciju skaitu («piegāde», «sūtīšana», «pārvietošana») atsevišķās kolonnās: supply_operations, shipment_operations, transfer_operations. Filtrējiet noliktavas, kuru kopējais operāciju skaits ir lielāks par 2 un vidējais apstrādes laiks nepārsniedz 60 minūtes. Rezultātu kārtojiet pēc noliktavas ID augošā secībā. Ievades formāts Operāciju tabula: • operation_id (int) — operācijas unikālais identifikators • warehouse_id (int) — noliktavas identifikators • operation_type (text) — operācijas veids: «piegāde», «sūtīšana», «pārvietošana» • quantity (int) — preču daudzums operācijā • operation_date (timestamp) — operācijas datums un laiks • processing_time (int) — operācijas apstrādes laiks Kolonna processing_time var saturēt izlaistus datus. Izvades formāts Vaicājumam jāatgriež tabula ar šādiem laukiem kārtībā: • warehouse_id (int) — noliktavas unikālais identifikators • count_operations (int) — kopējais veiktu operāciju skaits noliktavā • sum_quantity (int) — kopējais apstrādāto preču daudzums noliktavā • avg_processing_time (numeric) — operācijas vidējais apstrādes laiks (minūtēs), ņemot vērā tikai ne NULL laiku, noapaļots līdz veselam skaitlim • max_quantity (int) — lielākais apstrādāto preču daudzums vienā operācijā • min_quantity (int) — mazākais apstrādāto preču daudzums vienā operācijā • supply_operations (int) — «piegādes» operāciju skaits • shipment_operations (int) — «sūtīšanas» operāciju skaits • transfer_operations (int) — «pārvietošanas» operāciju skaits
Vai tu pazīsti OLAP kubus? Kad mēs strādājam ar daudzdimensionāliem datiem, līdzīgiem Excel pivot tabulai, bet ātrākai mijiedarbībai ar lieliem datu apjomiem.
Альфа-БанкVai jūs strādājāt ar inkrementālām un pilnām ielādēm? Kā cīnījāties ar dublikātiem?
Aston[vārds] jautāja: Kuras kolonnas jābūt Nullable un kā to norādīt DDL?
Kā izvairīties no aptuveni 700 DAG izpildes vienlaikus catchup/backfill laikā Airflow?
ОстровокKādus tabulu dzinējus jūs zināt un esat izmantojis ClickHouse?
Kurios laukos jūs sadalījāt datus Greenplum?
Альфа-БанкPastāsti par savu iepriekšējo projektu, kādas bija tavas pienākumi?
AstonPastāsti man par Greenplum — datu glabāšanas formātiem, rindas un kolonnas glabāšanu.
Pastāsti, ko tev patīk darīt brīvajā laikā, papildus kodēšanai? Kādi ir tavi hobiji?
Kad veidoji pipeline Airflow, kā risināji junk data (neatbilstošus/nepieciešamus datus) problēmu?
Альфа-БанкKas ir statistika datu bāzu pārvaldības sistēmās un vaicājumu optimizācijā?
Kā darbojas JOIN ClickHouse?
Kādus izplatīšanas veidus izmantojāt? Kā izvēlējāties izplatīšanas atslēgu?
-- Atrodiet visus pasažierus, kuriem ir divi vai vairāk dienu pēc kārtas ir bijušas braucieni
Kuru resursu visvairāk patērē Nested Loop Join?
Kāda ir atšķirība starp ROWS BETWEEN un RANGE BETWEEN?
Vai tev ir pieredze ar Docker attēliem, vidi veidošanā virtuālajā mašīnā?