Data Engineer

Тапсырма #2 Әр бөлім бойынша ең жоғары 3 қызметкердің жалақысын шығарыңыз. Бөлім атауы, қызметкердің аты және жалақыны көрсетіңіз. қызметкерлер кестесі: | id | аты | жалақы | бөлім_id | |----|-------|--------|---------| | 10 | Джон | 1000 | 2 | | 20 | Том | 5000 | 3 | | 30 | Билл | 3000 | 2 | бөлім кестесі: | id | атауы | |----|-----------| | 1 | Маркетинг | | 2 | IT | | 3 | Қаржы | Шығу: бөлім атауы, нөмір, қызметкердің аты, жалақы CTE қолдану арқылы: select d.name as department_name, e.name as employee_name, e.salary, dense_rank from employee e join department d on e.id = d.id

Middle

Островок

Adaptive Query Execution (AQE) дегеніміз не?

Middle

Островок

ACID пен CAP теоремасының айырмашылығы неде?

Middle

Островок

Қорытынды нәтиже: | клиенттің ID-і | бос орындар саны | |----------------|----------------| | 1 | 123 | | 2 | 120 | with cte as( select order_id, customer_id, order_dt, lag(order_dt) over(partition by customer_id order by order_dt) as prev_order_ft, datediff(day, prev_order_ft, order_dt) as gap_days from Orders ) select customer_id, max(gap_days) as gap_days from cte where gap_days > 60 group by customer_id

Middle

Островок

Транзакцияның кезеңдері қандай?

Middle

Островок

Spark-те shuffle-дың қауіптілігі неде?

Middle

Островок

Қандай жағдайда сөздік бойынша іздеу ең нашар жағдайға дейін нашарлауы мүмкін?

Middle

Островок

Python-да декораторлармен жұмыс істедіңіз бе? Олар не және қайда пайдаланылады?

Middle

Островок

Python-да өзгермелі және өзгермейтін деректер түрлері туралы айтыңыз және мысалдар келтіріңіз.

Middle

Островок

Broadcast Join-ды қолдануды анықтайтын параметрлер мен кеңестермен жұмыс жасадыңыз ба?

Middle

Островок

Желі туралы толығырақ айтып беріңіз: ол не және неге ол маңызды?

Middle

Островок

Жалпы алғанда, сіз құбырлардағы қателер мен ескертулерді қалай өңдейсіз?

Middle

Островок

Тапсырма #1 Екі кестені id атрибуты бойынша қосқанда inner, left, right, full join сұрауы қандай санды жазбелерді қайтарады t1 t2 | id | | id | |-----| |-----| | 1 | | 1 | | 2 | | 1 | | 3 | | 3 | | 0 | | 5 | | NULL| | NULL| | NULL| inner: left: right: full outer:

Middle

Островок

Spark-те баяу және дереу есептеулерді түсіндіріңіз.

Middle

Островок

Деректер сапасының қандай қауіптері бар?

Middle

Островок

Airflow-те catchup/backfill кезінде шамамен 700 DAG іске қосылуын қалай болдырмауға болады?

Middle

Островок

Spark/UDF контекстінде сериализация және десериализация туралы не білесіз?

Middle

Островок

Техникалық және бизнес деректерін тексеруді қалай ажыратасыз, және олар үшін талаптарды кім қоюы керек?

Middle

Островок

Неге bool([""]) шын мәнінде True қайтару керек?

Middle

Островок

Join орындаудың қандай физикалық стратегияларын білесіз?

Middle

Островок