Kaip suprojektuotumėte mastelį duomenų įkėlimui iš kelių REST API: nuo duomenų gavimo iki S3, su sąsaja analitikui?
Senior
3
Data Engineer
743
0
Kas yra procedūrinis SQL?
Middle
3
Papaskinkite apie save ir savo patirtį duomenų inžinerijoje.
Senior
3
Yra 101 objektas: 100 nuliai ir 1 vienetas. Po rūšiavimo pagal įvertinimą, pirmiausia ateina 50 nuliai, tada vienetas, tada dar 50 nuliai. Kokia yra jo ROC AUC ir ROC kreivės forma?
Middle+
3
Kokios yra indeksų trūkumai, išskyrus jų užimamą vietą?
Middle
3
Gradient boosting'e jau sukurta N pagrindinių algoritmų sudėtis. Koks bus naujo, N+1-ojo algoritmo tikslas?
Middle+
3
Kodėl tingiosios įvertinimai yra naudingi?
Middle
3
Kas yra duomenų išsiliejimas Spark ir kaip jo išvengti, jei išteklių paprasčiausiai pridėti negalima?
Middle
3
Kaip tvarkytumėtės su didelės apkrovos duomenų transformacijomis?
Middle
3
Kaip skiriasi Spark paleidimo režimai: cluster, client ir local?
Middle
3
Kokie yra pranašumai ir trūkumai, kai API įkėlėją įgyvendinate kaip individualų Airflow operatorių/hook'ą, palyginti su atskira biblioteka ar konteinerine paslauga?
Senior
3
2. Yra lentelė t, kurioje nurodytas klientų operacijų suma per dieną: - Parašykite užklausą, kuri kiekvienai eilutei rodo kliento operacijas einamą ir ankstesnę kalendoriaus dieną Galutinė lentelė žemiau:
Middle
3
Kas yra tingiosios įvertinimai ir kaip juos suprasti?
Middle
3
Kokias įprastas užduotis išsprendėte Airflow?
Middle
3
Data, užsakymo numeris, suma select date, sum(amount) as sum_amount from t group by date having sum(amount) > 1000000 order by sum_amount desc limit 3
Middle
3
Kas yra žvaigždžių modeliai ir Data Vault?
Middle
3
Papaskinkite apie save: kur dirbote paskutinį kartą, ką darėte, ko ieškote ir kodėl?
Middle+
2
Kur yra Driver ir Executors klasterio režimu ir kodėl jis naudojamas gamyboje?
Middle
2
Kur tiksliai įvyksta gradientas gradientinio stiprinimo algoritme, jei pagrindinis algoritmas yra paprastas sprendimų medis?
Middle+
2
Iš kokių komponentų sudarytas Greenplum ir Hadoop HDFS?
Middle
2