Чӣ гуна дар кори худ Python-ро истифода мебаред ва дар куҷо бештар худшинос ҳис мекунед: дар Python ё дар SQL?
Data Engineer
Доштанд 101 объект: 100 объект аз синфи 0 ва 1 объект аз синфи 1. Модели аввал ба ҳамаи объектҳо ба як холи медиҳад. ROC AUC ва шакли қисмати ROC чӣ гуна аст?
Чӣ тавр як силсилаи вақти статсионӣро санҷидан мумкин аст?
Як аналитик навишта SQL-суроув берун аст. Нақли кунед, ки дар сурати он чӣ норасоии самаранокӣ вуҷуд дорад ва чӣ гуна бояд пешгирӣ кард. Суроув ду ҷадвалро пайваст мекунад: - ҷадвали воқеаҳо 'events' бо калиди 'event_id' - ҷадвали истинод ба манбаъҳои трафик бо калиди 'referer_str' Ҳар ду ҷадвал миллиардҳо сабт доранд. select * from (select distinct e.event_id, e.user_id, e.category_id, e.location_id, s.source_name, s.medium_name, s.campaign_name, row_number() over(partition by e.event_id, e.user_id, e.category_id, e.location_id, s.source_name, s.medium_name, s.campaign_name) as rnk from events e left join traffic_source s on e.referer_str = s.referer_str where e.event_date = current_date() - 1 group by 1,2,3,4,5,6,7) t where rnk = 1
Мақсади пайваст нест, ва чор алгоритм вуҷуд дорад: регрессияи хаттӣ, дарахти қарор, ҷангалҳои тасодуфӣ ва градиентӣ бустинг дар дарахтҳо. Кадом аз онҳо метавонанд пешгӯии манфӣ диҳанд?
Маълумотҳо ба ҷадвали ReplacingMergeTree бор карда шудаанд; агар ҳанӯз ҳам омезиш анҷом наёфта бошад, дар вақти хондан чӣ мешавад ва чӣ гуна метавон версияи охирини сабтҳоро ба даст овард?
Денормализация чӣ гуна аст?
Оё имкон дорад, ки дубликация ва spill-и маълумотро пас аз он бе истифодаи ҷадвалҳои алоҳида ҳамҷоя кард; ва агар оё, чӣ гуна?
Чӣ тавр тест кардани гипотезаҳо? Қатъиятҳои I ва II ва арзиши p чӣ гунаанд?
Структураҳои индекс ва чӣ гуна кор мекунанд?
Кадом роҳҳоро медонед, ки иҷрои вазифаҳоро дар PostgreSQL суръат бахшанд?
Чӣ тавр як силсилаи вақти статсионӣ ва чаро статсионарӣ барои моделҳои классикӣ муҳим аст?
Бэггинг ва бустинг чӣ гуна аст ва онҳо чӣ фарқ доранд?
Хусусиятҳои истифодаи JOIN дар сохтани витринаҳо дар PostgreSQL/Greenplum дар муқоиса бо ClickHouse чӣ гуна аст?
Оё шумо бо моделсозии uplift шиносед? Дар бораи он чӣ медонед?
Чӣ тавр аз афзоиши ҷадвал пешгирӣ кардан мумкин аст, агар нигоҳдории маълумот дар муддати муайян маҳдуд бошад, масалан ду сол?
ROC AUC чист?
Моил аст, ки дар ҷадвал муштариён бо чандин почтаи электронӣ ҳастанд, санҷед. Агар ҳастанд, онҳоро тоза кунед ( танҳо сабтҳои охиринро бо асоси create_date нигоҳ доред).
Watermark дар Spark Structured Streaming чӣ гуна аст?
Нормализация чӣ гуна аст ва кай истифода мешавад?