Data Engineer
Papaskinkite apie PL/SQL procedūrų naudojimą jūsų darbe.
Mūsų klientų lentelėje yra (id, vardas, adresas ir kt.), produktai (id, pavadinimas ir kt.), prekių judėjimas (čia turime kliento id, prekės, data, kiekis, suma), turime rasti, kurios prekės buvo parduotos sausio 1 d., tik unikalios, ir taip pat parodyti pirkėjo vardą ir...
Kokie Greenplum'e egzistuoja raktų/dalijimosi strategijų tipai?
Pardavimų analizė pagal prekių kategorijas mažmeninės prekybos parduotuvėje Jūs dirbate analitiku mažmeninės prekybos parduotuvėje. Jūsų užduotis – sudaryti pardavimų ataskaitą pagal prekių kategorijas su skaičiavimais: • bendras parduotų vienetų skaičius kategorijoje (total_units_sold); • bendros pajamos pagal kategoriją, įskaitant nuolaidas, kur nuolaida taikoma kaip unit_price × units_sold × (1 − discount/100). Jei nuolaida nėra (NULL), laikykite ją 0%. Apvalinti iki dviejų skaitmenų po kablelio; • vidutinis parduotų vienetų skaičius vienai pardavimui (avg_units_per_sale), apvalintas iki dviejų skaitmenų po kablelio; • nuolaidų neturinčių pardavimų dalis (no_discount_share) – pardavimų, kurių nuolaida yra NULL arba 0%, skaičius padalintas iš bendro pardavimų skaičiaus kategorijoje, apvalintas iki trijų skaitmenų po kablelio: Pirmiausia rezultatą rūšiuokite mažėjimo tvarka pagal total_revenue, tada didėjimo tvarka pagal vidutinį vienetų skaičių (avg_units_per_sale), ir galiausiai pagal kategorijos pavadinimą abėcėlės tvarka: Įvesties formatas Pardavimų lentelė: • sale_id (int) – unikalus pardavimo identifikatorius • product_id (int) – produkto identifikatorius • category (text) – produkto kategorija • sale_date (timestamp) – pardavimo data ir laikas • units_sold (int) – parduotų vienetų skaičius • unit_price (numeric) – vieneto kaina • discount (numeric) – nuolaida produkto procentais, gali būti NULL Nuolaidos stulpelis gali turėti praleidimų: Išvesties formatas Užklausa turi grąžinti lentelę su laukais tokia tvarka: • category (text) – produkto kategorija • total_units_sold (int) – bendras parduotų vienetų skaičius šioje kategorijoje • total_revenue (numeric) – bendros pajamos pagal kategoriją, įskaitant nuolaidas, apvalintos iki dviejų skaitmenų po kablelio • avg_units_per_sale (numeric) – vidutinis vienetų skaičius vienam užsakymui, apvalintas iki dviejų skaitmenų po kablelio • no_discount_share (numeric) – nuolaidų neturinčių pardavimų dalis kategorijoje (nuo 0 iki 1), apvalinta iki trijų skaitmenų po kablelio Rezultatas turi būti rūšiuojamas pirmiausia pagal mažėjimą total_revenue, tada didėjimą pagal avg_units_per_sale, ir galiausiai pagal kategorijos pavadinimą abėcėlės tvarka.
Papaskink apie savo patirtį X5: kuo užsiiminėjai DWH srityje?
Saugykla buvo sukurta pagal Data Vault schemą — ar tu taip pat ją plėtojai, palaikei? Rankiniu būdu pridėjai hubus, nuorodas?
Ar kada nors dirbote su AQE (Adaptive Query Execution) optimizatoriumi Spark? Ar žinote, kaip jis veikia?
Kaip suprantate raktų koncepciją lentelėse — kam tai reikalinga?
Papaskokite apie Kafka pagrindines sąvokas (vartotojų grupė, skaidiniai, temos).
Koks darbo formato jums tinka: nuotoliniu būdu, hibridinis ar biure?
Ar galima peržiūrėti lentelės schemą prieš vykdant užklausą Hive?
Kaip matote savo vystymąsi naujoje komandoje ir kokiomis užduotimis norėtumėte užsiimti labiausiai?
Kam skirti dekoratoriai Apache Airflow?
Kokius planus turi per artimiausius 5 metus? Kokiose srityse norėtum tobulėti?
Ar kada nors teko daryti ataskaitas, valdymo skydelius, vizualizacijas (BI)?
Kaip elgtis, jei user_id yra skew (iškraipymas) jungiant transakcijų ir vartotojų lenteles? Kaip pasirinkti optimalų paskirstymo raktą?
Papasakok daugiau apie tinklą: kas tai ir kodėl tai svarbu?
Kaip įkėlėte duomenis iš S3 į Greenplum?
Kodėl nusprendėte įeiti į rinką ir palikti savo dabartinį darbą?
Ar naudojote Bridge ir PIT lenteles Data Vault? Pateikite pavyzdį ir paaiškinkite jų paskirtį.