Data Engineer
Проверки качества данных вы ставили сами, или требования приходили от бизнеса/заказчиков?
СБЕРЕсть таблица clients (client_id, ФИО, date_start, date_end) и таблица transactions (transaction_id, client_id, дата, сумма). Нужно рассчитать сумму транзакций по каждому клиенту за 1 мая 2025 года и вывести client_id, ФИО, сумму. Напиши SQL.
СБЕРДоводилось ли тебе делать отчёты, дашборды, визуализации (BI)?
Ты вот упомянул докер-процессы, можешь подробнее рассказать, как это у вас устроено?
По формату работы что удобнее — офис, гибрид, удалёнка? У нас два офиса, на Кутузовском и на Тульской.
СБЕРКак тебе больше нравится работать — индивидуально как эксперт, или в команде разработчиков?
СБЕРКак связаны партиции Spark и партиции в таблицах (например, в Iceberg)?
LEFT JOIN: таблица с 10 записями LEFT JOIN таблица со 100 записями. Какое минимальное и максимальное количество строк можно получить?
Если джойнить транзакции с клиентами по client_id и date_start (без BETWEEN), что подхватится в результате?
СБЕРВ каком направлении было бы интересно развиваться — витрины, разработка, аналитика, может AI?
СБЕРРасскажи, где ты работал системным аналитиком и какие задачи выполнял?
СБЕРА с витринами данных (ДВХ-слой) работал?
СБЕРРасскажи про пару своих наиболее существенных задач, связанных с качеством данных.
СБЕРКакой фреймворк вы использовали для написания пайплайнов? Как использовали Airflow?
AstonРасскажи про своё понимание качества данных — был ли у тебя опыт работы с этим направлением?
СБЕРПользовался ли ты XCom в Airflow?
AstonЧто такое статистика в контексте СУБД и оптимизации запросов?
Расскажите про best practice применения индексов - когда и как часто их использовать.
У нас на сайте пользователи ищут авиабилеты. Нужно складывать события поиска в ClickHouse, чтобы аналитики могли считать популярные направления и конверсию в покупку. Спроектируй таблицу и напиши DDL стрим, 5мин в сутки, дата, направление, раз в сутки, 2 года, json Идентификатор события, время, сессия, пользователь (может быть аноним — без логина), аэропорт/город вылета и прилёта, искомая дата вылета, дата обратно (может быть полет в одну сторону), число пассажиров, класс салона, тип устройства, нашлись ли рейсы, минимальная цена среди найденных, валюта, промокод (может не быть). CREATE TABLE targer_table ( sob_id UUID, date_sob DateTime(3), ses_id UUID, user_id Uint64, out_city LowCardinality(String), in_city LowCardinality(String), date_search_out Date, date_search_in Date, count_pass UInt16, class LowCardinality(String), devise LowCardinality(String), poisk, min_price, valute, procode )
Приходилось ли взаимодействовать с Data Scientists напрямую, собирать с них ТЗ?