Data Engineer

Na čo sú v S3 potrebné "zložky"/predpony okrem pohodlia?

Middle+

Лига Цифровой Экономики

Aké sú riziká kvality údajov?

Middle

Островок

Vykonali ste dodatočné zaznamenávanie okrem logov Airflow?

Middle+

Лига Цифровой Экономики

Čo je rozdelenie údajov a ako pomáha vyhnúť sa úplnému prehľadávaniu tabuľky?

Čo robíš vo voľnom čase? Máš nejaké vlastné projekty?

Aké typy JOIN existujú v SQL (logické) a v čom sa líšia?

Ako bojovať s nekonzistenciou údajov?

Middle

Островок

Ako so bile ustvarjene tabele v klastru in kako ste rešili problem, ko je zaradi ZooKeeperja manjkala replika na shard-u?

Ako ste sledovali kvalitu údajov?

Middle

Островок

S akou verziou Airflow ste pracovali?

Ako ste opravili skreslenie dát podľa client_id, keď bol jeden klient výrazne väčší ako ostatní? Aké sú možnosti?

Z akých etáp sa skladá transakcia?

Middle

Островок

Aké stratégie rozdelenia údajov existujú?

1. Objednávky: - order_date datetime NIE NULL - user_id int NIE NULL - order_id int NIE NULL 2. Tovar: - order_id int NIE NULL - model int NIE NULL - cat_1 varchar(50) NIE NULL - price int NIE NULL - quantity int NIE NULL Hodnoty v cat_1: - Oblečenie - Obuv - Kozmetika - Domáce potreby - Hračky Zobraziť počet objednávok a "počet potrebných produktov v kategórii v objednávke" za rok 2021 v kategóriách "Oblečenie" a za rok 2022 v kategóriách "Obuv" (finálny pohľad: 2 riadky. Polia: rok, počet produktov, počet objednávok) with cte as( select year(o.order_date) as year_orders, g.cat_1, count(distinct o.order_id) as count_orders, sum(g.quantity) as count_quan from Orders o join Goods g on o.order_id = g.order_id where g.cat_1 = 'Oblečenie' and Year(o.order_date) = 2021 or g.cat_1 = 'Obuv' and Year(o.order_date) = 2022 group by year_orders, g.cat_1 ) select year_orders, count_quan, count_orders from cte

Čo je to dátová vitrína?

Čo je to dekorátor v Pythone?

Povedz mi viac o sieti: čo to je a prečo je to dôležité?

Middle

Островок

Druhy JOIN a ich rozdiely

Prečo ste sa rozhodli presunúť hodnotenie do samostatnej CTE? Prečo ho nebolo možné použiť priamo v prvej CTE?

Ako správne otvoriť a zatvoriť súbory v Pythone pomocou kontextového manažéra?