Data Engineer

Povězte o základních konceptech Kafka (skupina spotřebitelů, oddíly, témata).

S jakou verzí Airflow jste pracoval?

Jaká byla vaše architektura v projektu? DWH nebo něco jiného?

Middle

Aston

Jak předávat data mezi úkoly v Airflow?

Prosím, pověz mi o své zkušenosti za poslední rok: jaký tým, jaké úkoly, jakou roli a jaký byl ten nejzajímavější úkol.

Struktura tabulek uvedená na obrázku byla vytvořena. Je nutné spustit dotaz uvedený na obrázku. Jaký typ joinu je třeba použít na místě [...], aby ve výsledku byly pro záznamy s type = 'table_aw' vyplněny sloupce 'naming', a pro záznamy s type = 'table2' sloupce 'serial_number'? create table multirelation( type varchar not null, entity_id integer not null ); create table table_aw( id integer primary key, naming varchar not null ); create table table2( id integer primary key, serial_number varchar not null ); -- struktura tabulek select m.type,m.entity_id, ta.naming, t2.serial_number from multirelation m [...] join table_aw ta on m.entity_id = ta.id and m.type='table_aw' [...] join table2 t2 on m.entity_id = t2.id and m.type='table2'; -- dotaz Nechte prázdné inner cross right left

Jak sloučit dvě tabulky v SQL?

Middle

МТС

Naše téma je velmi strukturované, stromovité, data jsou surová — jak je zpracovat?

Middle

МВидео

Jak zajistit, aby mobilní klient měl přístup ke stejným objednávkám, ale s menším počtem polí? Co je BFF?

Na jaký plat počítáš?

Musel jsi někdy dělat zprávy, dashboardy, vizualizace (BI)?

Pracoval jsi s anotacemi typů? Víš, co to je?

Middle

МТС

Povězte mi o nejobtížnější nebo nejzajímavější úloze, kterou jste museli řešit

Middle

Купер

Popište proces archivace dat z Oracle do Parquet (HDFS) podle oddílů a zpětný pipeline obnovy dat. Jak vyřešit problém opětovné archivace obnovených dat?

Middle

Aston

Celkem bylo kolik stažení — vysoké úrovně práce, vlákna?

Middle

МВидео

V jakých případech se používá normalizace a v jakých denormalizace?

[jméno] se zeptal: Jak implementovat uchovávání dat pouze na 2 roky v ClickHouse?

Pro jaké úkoly je ClickHouse nevhodný a co byste místo něj zvolili?

git submodule update --init

Odpovídá plán provádění z EXPLAIN tomu, co se skutečně provádí?

Middle

Aston