Data Engineer

Задача #2 Напишете заявка, която показва TOP-3 служители по заплата във всеки отдел. Показване на името на отдела, името на служителя и неговата заплата. таблица employee: | id | name | salary | dept_id | |----|-------|--------|---------| | 10 | John | 1000 | 2 | | 20 | Tom | 5000 | 3 | | 30 | Bill | 3000 | 2 | tаблица department: | id | name | |----|-----------| | 1 | Marketing | | 2 | IT | | 3 | Финанси | Изход: department_name, num, employee_name, salary с cte като( select d.name as department_name, e.name as employee_name, e.salary, dense_rank от employee e присъединете към department d на e.id = d.id

Middle

Островок

Какво е Адаптивно изпълнение на заявки (AQE)?

Middle

Островок

Каква е разликата между ACID и CAP теоремата?

Middle

Островок

От кои етапи се състои транзакцията?

Middle

Островок

Краен резултат: | customer_id | gap_days | |-------------|----------| | 1 | 123 | | 2 | 120 | с cte като( изберете order_id, customer_id, order_dt, lag(order_dt) върху(разделяне по customer_id поред по order_dt) като prev_order_ft, datediff(ден, prev_order_ft, order_dt) като gap_days от Orders ) изберете customer_id, max(gap_days) като gap_days от cte където gap_days > 60 grupo по customer_id

Middle

Островок

Каква е опасността от shuffle в Spark?

Middle

Островок

Работили ли сте някога с декоратори в Python? Какво представляват и къде се използват?

Middle

Островок

В коя ситуация търсенето в речник може да се влоши до най-лошия случай?

Middle

Островок

Разкажете за променяемите и непроменяемите типове данни в Python и дадете примери.

Middle

Островок

Работили ли сте с параметри и hints, които определят използването на Broadcast Join?

Middle

Островок

Разкажи повече за мрежата: какво е и защо е важна?

Middle

Островок

Обикновено как обработвахте грешки и предупреждения в пайплайните?

Middle

Островок

Обяснете ленивите и немедлените изчисления в Spark.

Middle

Островок

Въпрос #1 Колко записа ще върне заявката с inner, left, right, full join на две таблици при свързването им по атрибута id t1 t2 | id | | id | |-----| |-----| | 1 | | 1 | | 2 | | 1 | | 3 | | 3 | | 0 | | 5 | | NULL| | NULL| | NULL| inner: left: right: full outer:

Middle

Островок

Какви са рисковете за качеството на данните?

Middle

Островок

Как да избегнете едновременния старт на около 700 DAG изпълнения при catchup/backfill в Airflow?

Middle

Островок

Какво знаеш за сериализацията и десериализацията в контекста на Spark/UDF?

Middle

Островок

Защо bool([""]) връща True?

Middle

Островок

Как различаваш техническите и бизнес проверките на данните, и кой трябва да поставя изискванията към тях?

Middle

Островок

Кои физически стратегии за изпълнение на join знаете?

Middle

Островок