Data Engineer

Co je spouštěčem pro vytvoření nového Jobu v Spark a jak je Job rozdělen na Stages a Tasks?

Co je LEFT SEMI JOIN a LEFT ANTI JOIN v Spark SQL, musel jste je někdy použít?

Na jakých technologiích je postaven váš lakehouse a jaké problémy vznikají při práci s Apache Iceberg?

Máte zkušenosti s kompletním cyklem: od nestrukturovaného požadavku uživatele až po hotový vizualizační panel? Líbí se vám taková práce?

Jak se podařilo přesně optimalizovat dotazy na Data Vault, pokud obvykle zvyšuje počet joinů?

Používal jsi XCom v Airflow?

Middle

Aston

Napsal jsi ingestion procesy pro OpenMetadata, které skenují zdroje?

Middle+

Лига Цифровой Экономики

Úkol #2 Írjon olyan lekérdezést, amely minden osztályban a TOP-3 alkalmazottat mutatja a fizetés szerint. Mutassa az osztály nevét, az alkalmazott nevét és fizetését. employee tábla: | id | name | salary | dept_id | |----|-------|--------|---------| | 10 | John | 1000 | 2 | | 20 | Tom | 5000 | 3 | | 30 | Bill | 3000 | 2 | department tábla: | id | name | |----|-----------| | 1 | Marketing | | 2 | IT | | 3 | Pénzügy | Kimenet: department_name, num, employee_name, salary cte-ként: select d.name as department_name, e.name as employee_name, e.salary, dense_rank from employee e join department d on e.id = d.id

Middle

Островок

Co se stane, pokud vytvoříte DAG s start_date = 1. ledna 2024?

Middle

Островок

Lze vymyslet něco jiného než běžné CTE, vzhledem k tomu, že filtrování se stále provádí v paměti na celé tabulce?

Jaké hlavní příkazy Linux používáte v terminálu?

Co je to transakční protokol (WAL) v SGBD a k čemu slouží?

V jakém prostředí byl Spark spuštěn?

Na co vám vůbec byl Data Vault?

Máte zkušenosti s motory jako Trino nebo s tabulárními formáty (Iceberg, Parquet) v Spark?

Proč hledáte nové zaměstnání a čím byste se chtěli v budoucnu zabývat?

Jaké způsoby přenosu dat mezi úkoly Airflow znáte?

Middle

Островок

Co je to datová vitrína?

Na jakých polích došlo ke sloučení dat a jak se v přehledu zbavovali duplicit?

LeetCode #? — V PostgreSQL je tabulka [tabulka] s jediným sloupcem id a hodnotami 1, 1, 2. Napište DELETE dotaz, který fyzicky odstraní jeden duplikát.