Data Engineer

Jak Spark určuje, že tabulka je dostatečně 'malá' pro broadcast join (horní hranice)?

Jak velikost zrn ovlivňuje tabulku ClickHouse?

Jak uložit JSON do složky (v kontextu Airflow DAG)

Jaká je algoritmická složitost hledání ve slovníku v nejhorším případě?

Middle

Островок

Jaká byla vaše architektura v projektu? DWH nebo něco jiného?

Middle

Aston

[jméno] pověz nám trochu o svých zkušenostech s našimi úkoly, které jsme se snažili popsat v inzerátu.

Co je to utying (duck typing)?

Budeme parsovat JSON — kdo bude parsovat JSON? Pokud vím, v ClickHouse nejsou žádné funkce.

Middle

МВидео

Rozdělte JSON do třetí normální formy: jak byste ukládali seznam CashBreakdown a jak byste generovali náhradní klíče?

Pracoval jsi s oknovými funkcemi? Jaké druhy oknových funkcí znáš?

Middle

Aston

Co je to broadcast join v Spark?

Middle

Aston

Byla vytvořena speciální sekvence s názvem even_sequence, která generuje pouze sudá čísla. Co je třeba vložit na místo [...], aby v případě, že hodnota even_column nebyla při vkládání uvedena, byla použita hodnota z even_sequence? create table some_table( even_column [...] ); integer computed as nextval('even_sequence') integer generated always as identity (start with 2 increment by 2) integer default nextval('even_sequence') integer unique default nextval('even_sequence') integer generated by even_sequence’

Jaké skupiny SQL operátorů znáte? Čemu patří?

Middle

СБЕР

Jaké je nebezpečí shuffle v Spark?

Middle

Островок

Co je to rozdělení dat a jak pomáhá vyhnout se úplnému skenování tabulky?

Objevili jste, že v historii hlavního repozitáře Git jsou commity obsahující kritická důvěrná data. Tato data je třeba úplně odstranit z celé historie repozitáře. Zhodnoťte, jak správné a bezpečné by bylo použít následující strategii: vytvořit nový commit, který odstraní důvěrná data z aktuální verze souborů, a odeslat ho do main. - Správně, ale ne optimálně. Je lepší použít git revert k vrácení commitů - Podmíněně správné. Je to dočasné řešení, dokud nebude nalezen prostředek k radikálnějšímu odstranění dat - Nesprávné a nezabezpečené. Data budou odstraněna z aktuální verze, ale zůstanou dostupná v historii repozitáře - Nesprávné. Tento commit může způsobit nové konflikty při slučování s jinými větvemi - Správné a bezpečné. Tato metoda zajišťuje, že data budou odstraněna a již se v repozitáři neobjeví

Existují dvě transakce. Nejprve první transakce provádí příkaz. Poté druhá transakce provádí příkaz. Následně první transakce pokračuje. Která sekvence povede k vzájemnému zablokování? ```sql -- první transakce update accounts set balance = balance + 100 where id = ?; -- druhá transakce update accounts set balance = balance - 50 where id = ?; update accounts set balance = balance + 200 where id = ?; ```

Jak zobrazit parametry nebo omezení v ClickHouse?

Proč dochází k deadlockům a jaký mechanismus v databázích je odpovědný za konzistenci dat při paralelních dotazech?

Middle+

СБЕР

Má smysl používat CTE, pokud je v dotazu použita pouze jednou?

Middle

МВидео