Data Engineer
Какво е CDC и имате ли опит с него?
Има такова понятие — нива на изолация на транзакциите. Какво знаеш за това?
С какви инструменти за визуализация сте работили и колко тясно сте работили с Power BI?
Работили ли сте с контекстни мениджъри в Python? Какво представляват и за какво служат?
ОстровокКакво знаеш за сериализацията и десериализацията в контекста на Spark/UDF?
ОстровокАко на изпълнителя има 10 ядра, колко задачи ще се изпълняват паралелно в даден момент?
Разкажи за текущото си работно място: основен продукт, твоята функция.
Какви въпроси имаш към мен?
Задача #2 Напишете заявка, която показва TOP-3 служители по заплата във всеки отдел. Показване на името на отдела, името на служителя и неговата заплата. таблица employee: | id | name | salary | dept_id | |----|-------|--------|---------| | 10 | John | 1000 | 2 | | 20 | Tom | 5000 | 3 | | 30 | Bill | 3000 | 2 | tаблица department: | id | name | |----|-----------| | 1 | Marketing | | 2 | IT | | 3 | Финанси | Изход: department_name, num, employee_name, salary с cte като( select d.name as department_name, e.name as employee_name, e.salary, dense_rank от employee e присъединете към department d на e.id = d.id
ОстровокЗащо за Data Quality бяха избрани персонализирани скриптове на Python/Airflow, а не готов двигател, например Great Expectations?
Какво е CROSS JOIN и какъв е резултатът от неговото прилагане?
Как работи hash join за таблици с 1 000 и 1 000 000 реда?
Разкажете за задачата с настройката на репликацията, която решихте.
Използва ли се методът за сравняване на хешове на записи за изчисляване на разликата между източника и целевата таблица?
Разкажете за основните концепции на Kafka (група потребители, раздели, теми).
1. Поръчки: - order_date datetime НЕ NULL - user_id int НЕ NULL - order_id int НЕ NULL 2. Стоки: - order_id int НЕ NULL - model int НЕ NULL - cat_1 varchar(50) НЕ NULL - price int НЕ NULL - quantity int НЕ NULL Стойности в cat_1: - Облекло - Обувки - Козметика - Домашни стоки - Играчки Показване на броя поръчки и "броя на необходимите продукти в категорията в поръчката" за 2021 г. в категориите "Облекло" и за 2022 г. в категорията "Обувки" (краен вид: 2 реда. Полета: година, брой продукти, брой поръчки) with cte as( select year(o.order_date) as year_orders, g.cat_1, count(distinct o.order_id) as count_orders, sum(g.quantity) as count_quan from Orders o join Goods g on o.order_id = g.order_id where g.cat_1 = 'Облекло' and Year(o.order_date) = 2021 or g.cat_1 = 'Обувки' and Year(o.order_date) = 2022 group by year_orders, g.cat_1 ) select year_orders, count_quan, count_orders from cte
Защо сега търсиш нова работа, искаш ли да смениш работата си?
СБЕРКакво е витрина на данни?
Работили ли сте с feature store-ове?
Защо списъкът не може да се използва като ключ на речник?
МТС