Data Engineer
У нас ORDER BY по количеству заказов, и у нас идёт два заказа по 5, ещё два заказа по 3. Как себя поведёт RANK() и как DENSE_RANK()?
Как передавать данные между задачами в Airflow?
Какие были потребители данных и как строились витрины?
Ветка feature содержит несколько коммитов с неудачно закоммиченным файлом config.yaml, который позже был исправлен. В результате команда решила полностью удалить все изменения файла из истории, чтобы избежать раскрытия конфиденциальных настроек. Исходное состояние ветки (вывод git log --oneline): 1 a4b5c67 (HEAD -> feature) Refactored service logic 2 d9f0a11 Fixed config.yaml typo 3 7c1d3f2 Added temporary config.yaml 4 e3a98cd Initial commit 5 После переписывания истории, чтобы удалить файл config.yaml, вывод git log --oneline стал т 6 b9e7d42 (HEAD -> feature) Refactored service logic 7 41f3b60 Initial commit Какую операцию выполнила команда? - Выполнила git revert на коммит с config.yaml - Выполнила git filter-branch --index-filter "git rm --cached config.yaml" -- --all - Выполнила git rebase -i с удалением коммитов, содержащих изменения файла - Выполнила git commit --amend и git push --force - Выполнила git cherry-pick для создания новой ветки без config.yaml
Каковы ваши зарплатные ожидания?
Как разбивать запрос на этапы? Что для этого делаем?
Какие группы операторов SQL знаешь? Что к ним относится?
Как можно удалить данные из ClickHouse?
Для каких задач ClickHouse подходит плохо, и что бы вы выбрали вместо него?
Как вы проверяете корректность данных при переводе пайплайна из SAS в DBT?
Строил ли ты дашборды и работал ли с инструментами визуализации данных (BI-инструменты)?
Из-за чего возникают дедлоки и какой механизм в базах данных отвечает за консистентность данных при параллельных запросах?
С какими источниками данных удалось поработать? Как именно происходило взаимодействие с источниками?
Как в pandas применить функцию ко всем строкам или элементам?
Расскажите про использование PL/SQL-процедур в вашей работе.
Отчет для логистической компании Вы аналитик логистической компании, которая ведет учет операций на складах. Вам необходимо составить отчет по эффективности работы каждого склада. Для каждого склада рассчитайте: • общее количество операций (count_operations); • общее количество товаров, обработанных на складе (sum_quantity); • среднее время обработки операции (avg_processing_time), учитывая только операции с указанным временем (не NULL), округленное до целого числа; • максимальное и минимальное количество товаров, обработанных в одной операции (max_quantity, min_quantity); • количество операций каждого типа («поставка», «отгрузка», «перемещение») в отдельных колонках: supply_operations, shipment_operations, transfer_operations. Отфильтруйте склады, у которых общее количество операций больше 2 и среднее время обработки не превышает 60 минут. Отсортировать результат по ID склада по возрастанию. Формат ввода Таблица operations: • operation_id (int) — уникальный идентификатор операции • warehouse_id (int) — идентификатор склада • operation_type (text) — тип операции: «поставка», «отгрузка», «перемещение» • quantity (int) — количество единиц товара в операции • operation_date (timestamp) — дата и время операции • processing_time (int) — время обработки операции Колонка processing_time может содержать пропуски. Формат вывода Запрос должен вернуть таблицу с полями в таком порядке: • warehouse_id (int) — уникальный идентификатор склада • count_operations (int) — общее количество операций, выполненных на складе • sum_quantity (int) — общее количество товаров, обработанных на складе • avg_processing_time (numeric) — среднее время обработки операции (в минутах), учитывая только операции с не NULL временем, округленное до целого числа • max_quantity (int) — максимальное количество товаров, обработанных в одной операции • min_quantity (int) — минимальное количество товаров, обработанных в одной операции • supply_operations (int) — количество операций типа «поставка» • shipment_operations (int) — количество операций типа «отгрузка» • transfer_operations (int) — количество операций типа «перемещение»
OLAP-кубы тебе знакомы? Когда мы работаем с многомерными данными, похожими на сводную таблицу в Excel, но для более быстрого взаимодействия с большими объёмами данных.
Задача по проектированию микросервисной архитектуры: как предоставить данные для таблицы заказов (товары, цены, заказы) фронтенду при наличии трёх отдельных микросервисов?
Была создана специальная последовательность, генерирующая только четные числа, с названием even_sequence. Что нужно подставить на место пропуска [...], чтобы в случае, если значение even_column не было указано при вставке, значение бралось из even_sequence? create table some_table( even_column [...] ); integer computed as nextval('even_sequence') integer generated always as identity (start with 2 increment by 2) integer default nextval('even_sequence') integer unique default nextval('even_sequence') integer generated by even_sequence’
Как не убить Jupyter или Pandas по памяти?