Jak byste navrhli škálovatelné načítání dat z více REST API: od získávání dat po S3, s rozhraním pro analytika?
Senior
3
Data Engineer
743
0
Co je procedurální SQL?
Middle
3
Povězte nám o sobě a svých zkušenostech v datovém inženýrství.
Senior
3
Existuje 101 objekt: 100 nula a 1 jedna. Po seřazení podle skóre přichází nejprve 50 nul, pak jedna, a pak dalších 50 nul. Jaké jsou jeho ROC AUC a tvar ROC křivky?
Middle+
3
Jaké jsou nevýhody indexů kromě jejich zabraného místa?
Middle
3
V gradient boosting již byla postavena kompozice N základních algoritmů. Jaký bude cíl pro nový, N+1-tý algoritmus?
Middle+
3
Proč jsou lenivé hodnocení užitečné?
Middle
3
Co je to data spill v Spark a jak mu zabránit, pokud nelze jednoduše přidat zdroje?
Middle
3
Jak byste řešili transformace dat s vysokou zátěží?
Middle
3
Jak se liší režimy spuštění Spark: cluster, client a local?
Middle
3
Jaké jsou výhody a nevýhody implementace API loaderu jako vlastního operátora/hooku v Airflow ve srovnání s samostatnou knihovnou nebo kontejnerovou službou?
Senior
3
2. Existuje tabulka t, která uvádí součet transakcí klientů za den: - Napiš dotaz, který pro každý řádek ukáže transakce klienta za aktuální a předchozí kalendářní den Finální tabulka je níže:
Middle
3
Co jsou líné vyhodnocení a jak je pochopit?
Middle
3
Jaké typické úkoly jste vyřešili v Airflow?
Middle
3
Datum, objednávkové číslo, částka select date, sum(amount) as sum_amount from t group by date having sum(amount) > 1000000 order by sum_amount desc limit 3
Middle
3
Co jsou hvězdové modely a Data Vault?
Middle
3
Povězte nám o sobě: kde jste naposledy pracoval, čím jste se zabýval, co hledáte a proč?
Middle+
2
Kde se nachází Driver a Executors v režimu cluster a proč se používá v produkci?
Middle
2
Kde přesně se v algoritmu gradient boosting vyskytuje gradient, pokud je základní algoritmus jednoduché rozhodovací strom?
Middle+
2
Z jakých komponent se skládá Greenplum a Hadoop HDFS?
Middle
2