Data Engineer

Během práce s git bisect jste narazili na commit, který nelze ověřit kvůli absenci potřebného prostředí. Co je třeba v této situaci udělat? - Opakujte příkaz git bisect start s jinými hashi - Přeskočte tento commit příkazem git bisect skip - Obnovte bisect příkazem git bisect reset - Označte commit jako dobrý příkazem git bisect good - Označte commit jako špatný příkazem git bisect bad

Co je to partition v ClickHouse a podle jakého principu se vybírá?

Jak parsovat velké XML soubory v ZIP a nahrát je do ClickHouse pomocí Pythonu?

Jaký je rozdíl mezi UNION a UNION ALL? Jaké podmínky musí být splněny?

Middle

СБЕР

Jaký typ čtení se používá v ClickHouse?

Middle

МВидео

Vysvětlete, jak technicky funguje Git LFS a jaké výhody přináší ve srovnání se standardním Gitem při práci s velkými soubory.

Čím obětuje databáze při rychlém načítání dat (COPY v Postgres, BULK INSERT)?

Jak funguje Merge Join (sjednocení s tříděním)?

Middle+

СБЕР

Jak lze smazat data z ClickHouse?

Jaké problémy může odhalit sledování?

Proč jste si vybrali právě DBT? Jaké výhody a nevýhody vidíte v tomto rámci?

Middle+

СБЕР

Co je to idempotence v DAG/úkolu v Airflow?

Co je to SQL injection?

Co dělá OPTIMIZE v ClickHouse a proč ho nelze bezmyšlenkovitě spouštět?

Podíl botového provozu Tým proti podvodům vyvinul mechanismus pro detekci botového provozu na webu obchodu: když bot vstoupí na web, do parametrů jeho URL se přidá podřetězec "bot" (bez rozlišení velkých a malých písmen). Pokud byl user_id alespoň jednou v prosinci identifikován jako bot, měl by být vždy považován za bot. Prostudujte datovou sadu s návštěvami uživatelů na webu a vypočtěte podíl botů z celkového počtu uživatelů v prosinci 2024 (zaokrouhlete na jedno desetinné místo). Formát vstupu Tabulka visits: - event_date (date) — datum návštěvy - user_id (int) — unikátní identifikátor uživatele - url (string) — odkaz, přes který byla návštěva provedena Data neobsahují chybějící nebo nesprávné hodnoty. Formát výstupu Dotaz by měl vrátit tabulku s poli: - share (float) — podíl botů z celkového počtu uživatelů v prosinci, zaokrouhlený na jedno desetinné místo.

Co je YARN a k čemu slouží?

Middle

Aston

Jak funguje komprese v ClickHouse?

Jaký je rozdíl mezi EXPLAIN a EXPLAIN ANALYZE?

Co je VACUUM v PostgreSQL? K čemu je potřeba?

Jak se čte soubor z HDFS, například Parquet — celý nebo po blocích?

Middle

Aston