Kaip naudoji Python savo darbe ir kur jautiesi labiau pasitikintis: Python ar SQL?
Data Engineer
Yra 101 objektas: 100 objektų klasės 0 ir 1 objekto klasės 1. Pirmasis modelis visiems objektams suteikia tą pačią įvertinimą. Kokia yra jo ROC AUC ir ROC kreivės forma?
Kaip patikrinti laiko eilutę dėl stacionarumo?
Kaip analitikas parašė SQL užklausą. Nurodykite neefektyvumus užklausoje ir pasiūlykite, kaip jų išvengti. Užklausa jungia dvi lenteles: - faktų lentelė 'events' su raktu 'event_id' - srauto šaltinio nuorodų lentelė su raktu 'referer_str' Abi lentelės turi milijardus įrašų. select * from (select distinct e.event_id, e.user_id, e.category_id, e.location_id, s.source_name, s.medium_name, s.campaign_name, row_number() over(partition by e.event_id, e.user_id, e.category_id, e.location_id, s.source_name, s.medium_name, s.campaign_name) as rnk from events e left join traffic_source s on e.referer_str = s.referer_str where e.event_date = current_date() - 1 group by 1,2,3,4,5,6,7) t where rnk = 1
Yra neigiamas neigiamas tęstinis tikslas ir keturi algoritmai: linijinė regresija, sprendimų medis, atsitiktinis miškas ir gradientinis stiprinimas medžiuose. Kurie iš jų gali duoti neigiamas prognozes?
Duomenys buvo įkeliami į ReplacingMergeTree lentelę; kas nutiks skaitant, jei dar neįvyko susijungimas, ir kaip gauti naujausią įrašų versiją?
Kas yra denormalizacija?
Ar įmanoma sujungti deduplikaciją ir vėlesnį duomenų spill'ą nesinaudojant atskiromis lentelėmis; ir jei taip, kaip?
Kas yra hipotezių testavimas? Kokios yra I ir II tipo klaidos ir p-vertė?
Kokios yra indeksų struktūros ir kaip jos veikia?
Kokius būdus žinote, kad pagreitintumėte užduočių vykdymą PostgreSQL?
Kas yra stacionari laiko eilutė ir kodėl stacionarumas svarbus klasikiniams modeliams?
Kas yra baggingas ir boostingas, ir kaip jie skiriasi?
Kokios yra JOIN naudojimo ypatybės kuriant vitriną PostgreSQL/Greenplum ir palyginti su ClickHouse?
Ar žinote uplift modeliavimą? Ką apie tai žinote?
Kaip užkirsti kelią lentelės augimui, jei duomenų saugojimas yra ribotas laiku, pavyzdžiui, dveji metai?
Kas yra ROC AUC?
Reikia patikrinti, ar lentelėje yra klientų su keliais el. pašto adresais. Jei taip, ištrinkite juos (palikite tik paskutinį įrašą pagal create_date).
Kas yra watermark Spark Structured Streaming?
Kas yra normalizacija ir kada ji taikoma?