Kako koristite Python u svom radu i u čemu se osećate sigurnije: u Pythonu ili u SQL?
Data Engineer
Постоји 101 објекат: 100 објеката класе 0 и 1 објекат класе 1. Први модел даје исту оцену свим објектима. Који су његови ROC AUC и облик ROC криве?
Како тестирати временску серију на стационарност?
Дано е SQL заявка, написана от аналитик. Идентифицирайте неефективностите в заявката и предложете как да ги избегнете. Заявката съчетава две таблици: - таблица факти 'events' с ключ 'event_id' - таблица с референции към източници на трафик с ключ 'referer_str' И двете таблици съдържат милиарди записи. select * from (select distinct e.event_id, e.user_id, e.category_id, e.location_id, s.source_name, s.medium_name, s.campaign_name, row_number() over(partition by e.event_id, e.user_id, e.category_id, e.location_id, s.source_name, s.medium_name, s.campaign_name) as rnk from events e left join traffic_source s on e.referer_str = s.referer_str where e.event_date = current_date() - 1 group by 1,2,3,4,5,6,7) t where rnk = 1
Постоји непрекидни циљ који није негативан и четири алгоритма: линеарна регресија, одлучујуће дрво, случајни шум и градиентни бустинг на дрвећима. Који од њих могу давати негативне прогнозе?
Podaci su učitani u tabelu ReplacingMergeTree; šta će se dogoditi tokom čitanja ako se merge još nije dogodio, i kako dobiti najnoviju verziju zapisa?
Šta je denormalizacija?
Да ли је могуће комбиновати дедупликацију и последњи spill података без коришћења посебних табела; и ако јесте, како?
Шта је тестирање хипотеза? Шта су грешке типа I и типа II и p-стойност?
Koje su strukture indeksa i kako funkcionišu?
Koje načine poznajete za ubrzanje izvršavanja zadataka u PostgreSQL?
Шта је стационарна временска серија и зашто је стационарност важна за класичне моделе?
Шта је бэггинг и бустинг, и како се разликују?
Koje su karakteristike korišćenja JOIN prilikom pravljenja vitrina u PostgreSQL/Greenplum u poređenju sa ClickHouse?
Да ли сте упознати са моделовањем uplift? Шта знате о томе?
Kako sprečiti rast tabele ako je skladištenje podataka ograničeno vremenom, na primer dvema godinama?
Шта је ROC AUC?
Потребно је проверити да ли у табели постоје клијенти са више емаилова. Ако постоје, уклоните их (оставите само последњу по create_date).
Šta je watermark u Spark Structured Streaming?
Šta je normalizacija i kada se primenjuje?