Data Engineer
Как вы загружали данные из S3 в Greenplum?
AstonКак вывести последнее ФИО для каждого клиента, если известен только start_date (end_date неизвестен)?
СБЕРЧто такое ленивые операции в Spark и для чего они нужны?
AstonУ вас была проблема с тайм-зонами при чтении timestamp через PXF из Parquet?
AstonКак у вас устроено QA (проверка качества данных)?
Если запрос всё равно медленный после добавления нескольких индексов - какой алгоритм диагностики и что делать?
В каких случаях нормализация применяется, а в каких - денормализация?
Что такое shuffle в Spark и зачем он нужен?
Как можно управлять shuffle в Spark (партиционирование, broadcast join и т.д.)?
Как детектировать перекос данных (data skew) в Spark?
Насколько хорошо знакомы с Linux/Docker?
Для чего вообще вам нужен был Data Vault?
Как в Linux найти подстроку в конкретной колонке лог-файла (например, дату в третьей колонке)?
Предложите решение задачи регулярной инкрементальной загрузки большой таблицы с гибкой (изменяемой) частотой обновления из Postgres в Data Lake.
Есть ли опыт работы с движками типа Trino, либо с табличными форматами (Iceberg, Parquet) в Spark?
А может быть, был опыт из области Data Science — работа с моделями, статистикой?
Ты из Москвы? Давно здесь живёшь? Почему переехал в Москву?
Что такое "мёртвая кортежа" (dead tuple)?
Почему сейчас рассматриваешь новые предложения?
Есть ли ещё механизмы управления shuffle кроме coalesce/repartition?