Kuidas te kujundaksite skaleeritavat andmete laadimist mitmest REST API-st: andmete kogumisest S3-ni, analüütiku jaoks liidesega?
Data Engineer
Mis on protseduuriline SQL?
Rääkige meile endast ja oma kogemusest andmeinsenerite alal.
On 101 objekti: 100 nulli ja 1 üks. Pärast skoori järgi sorteerimist tulevad kõigepealt 50 nulli, siis üks, ja veel 50 nulli. Milline on selle ROC AUC ja ROC kõvera kuju?
Millised on indeksite miinused lisaks nende hõivatud ruumile?
Gradient boostingus on juba loodud N põhialgoritmi koosseis. Mis saab olema uue, N+1. algoritmi eesmärk?
Miks on laisk hindamine kasulik?
Mis on andmete lekkimine Sparkis ja kuidas seda vältida, kui ressursse lihtsalt lisada ei saa?
Kuidas te käsitleksite kõrge koormusega andmetransformatsioone?
Kuidas erinevad Spark käivitamise režiimid: cluster, client ja local?
Millised on API laaduri rakendamise eelised ja puudused kui see on kohandatud Airflow operaator/hook võrreldes eraldi teegi või konteineriteenusega?
2. On olemas tabel t, mis näitab iga päeva klientide tehingute summat: - Kirjutage päring, mis iga rea kohta näitab kliendi tehinguid käesoleva ja eelneva kalendripäeva kohta Lõplik tabel on allpool:
Mis on laisk hindamine ja kuidas neid mõista?
Milliseid tüüpilisi ülesandeid olete Airflow's lahendanud?
Kuupäev, tellimuse number, summa select date, sum(amount) as sum_amount from t group by date having sum(amount) > 1000000 order by sum_amount desc limit 3
Mis on tähe mudelid ja Data Vault?
Rääkige meile endast: kus te viimati töötasid, millega tegelesid, mida otsid ja miks.
Kus asub Driver ja Executors klastrirežiimis ning miks seda kasutatakse tootmises?
Kus täpselt toimub gradient gradientboostimise algoritmis, kui alusalgoritm on lihtne otsustuspuu?
Millest koosneb Greenplum ja Hadoop HDFS?