Data Engineer

Koje vrste particija postoje?

Šta znaš o spill-u u Spark-u?

Middle

Островок

Da li koristite veštačku inteligenciju u trenutnom radu? Koje alate i kako tačno?

Да ли сте радили са батч-учитавањем или стримингом?

Middle

Aston

Prikažite broj narudžbi i "proizvoda potrebne kategorije u narudžbi" za 2021. godinu u kategorijama "Odeća" i za 2022. godinu u kategoriji "Obuća" (konačni prikaz: 2 reda. Polja: godina, broj proizvoda, broj narudžbi) with cte as( select year(o.order_date) as year_orders, g.cat_1, count(distinct o.order_id) as count_orders, sum(g.quantity) as count_quan from Orders o join Goods g on o.order_id = g.order_id where (g.cat_1 = 'Odeća' and Year(o.order_date) = 2021) or (g.cat_1 = 'Obuća' and Year(o.order_date) = 2022) group by year_orders, g.cat_1 ) select year_orders, count_quan, count_orders from cte za 2025. godinu, top 3 u svakoj kategoriji po količini prodaje model with cte as( select cat_1, price, quantity, model, rank() over(partition by cat_1) as rk from Orders o join Goods g on o.order_id = g.order_id where Year(o.order_date) = 2025 ) za 2025. godinu, top 3 u svakoj kategoriji po zbiru prodaje model with cte as( select g.cat_1, g.model, (price * quantity), rank() over(partition by g.cat_1) as rk from Orders o join Goods g on o.order_id = g.order_id where Year(o.order_date) = 2025 ) with cte as( select g.cat_1, g.model, sum(price * quantity) as sum_, rank() over(partition by g.cat_1 order by sum() desc) as rk from Orders o join Goods g on o.order_id = g.order_id where Year(o.order_date) = 2025 ) with cte1 as( select g.cat_1, g.model, sum(price * quantity) as sum_total, from Orders o join Goods g on o.order_id = g.order_id where Year(o.order_date) = 2025 ), cte2 as(select g.cat_1, g.model, sum_total, rank() over(partition by g.cat_1 order sum_total desc) as rk from cte1 ) select g.cat_1, g.model, sum_total from cte2 where rk <=3 poznajte naziv kategorije, model i ukupnu prodaju (top 3) with cte1 as( select g.cat_1 as cat_name, g.model as model, sum(price * quantity) as sum_total, from Orders o join Goods g on o.order_id = g.order_id where Year(o.order_date) = 2025 group by Year(o.order_date), g.model ), cte2 as(select cat_name, model, sum_total, rank() over(partition by cat_name order sum_total desc) as rk from cte1 ) select cat_name, model, sum_total from cte2 where rk <=3

Ispričajte nam o najznačajnijem projektu ili zadatku u Pythonu u poslednjih godinu dana.

Šta je CDC i imate li iskustva sa tim?

Postoji koncept koji se zove nivoi izolacije transakcija. Šta o tome znaš?

С којим алатима за визуелизацију сте радили и колико тесно сте сарађивали са Power BI?

Da li ste radili sa menadžerima konteksta u Pythonu? Šta su i čemu služe?

Middle

Островок

Šta znate o serijalizaciji i deserializaciji u kontekstu Spark/UDF?

Middle

Островок

Ako na executor-u ima 10 jezgara, koliko zadataka će se izvršavati paralelno u jednom trenutku?

Ispričaj o svom trenutnom radnom mestu: glavni proizvod, tvoja funkcija.

Koje imaš pitanja za mene?

Zašto su za Data Quality odabrani prilagođeni skripti u Python/Airflow umesto gotovog motora, na primer Great Expectations?

Kako radi hash join za tabele sa 1.000 i 1.000.000 redova?

Da li je metoda poređenja heševa zapisa korišćena za izračunavanje razlike između izvora i ciljne tabele?

Ispričajte o osnovnim konceptima Kafka (grupa potrošača, particije, teme).

1. Наредбе: - order_date datetime НЕ NULL - user_id int НЕ NULL - order_id int НЕ NULL 2. Производи: - order_id int НЕ NULL - model int НЕ NULL - cat_1 varchar(50) НЕ NULL - price int НЕ NULL - quantity int НЕ NULL Вредности у cat_1: - Одећа - Обућа - Козметика - Производи за домаћинство - Играчке Прикажи број наредби и "број потребних производа у категорији у наредби" за 2021. у категоријама "Одећа" и за 2022. у категорији "Обућа" (крајњи изглед: 2 реда. Поља: година, број производа, број наредби) with cte as( select year(o.order_date) as year_orders, g.cat_1, count(distinct o.order_id) as count_orders, sum(g.quantity) as count_quan from Orders o join Goods g on o.order_id = g.order_id where g.cat_1 = 'Одећа' and Year(o.order_date) = 2021 or g.cat_1 = 'Обућа' and Year(o.order_date) = 2022 group by year_orders, g.cat_1 ) select year_orders, count_quan, count_orders from cte

Zašto sada tražiš novo radno mesto, želiš da promeniš posao?

Middle

СБЕР