Data Engineer

Hogyan értékeljük a konfigurációt egy terabájt adat átadásához a PostgreSQL-ból a ClickHouse-ba?

Milyen technológiákat használtál az adatok Parquet-be töltéséhez, és milyen mechanizmusokat használtak az adatok beszerzéséhez és betöltéséhez?

Middle

МВидео

Végső eredmény: | customer_id | gap_days | |-------------|----------| | 1 | 123 | | 2 | 120 | with cte as( select order_id, customer_id, order_dt, lag(order_dt) over(partition by customer_id order by order_dt) as prev_order_ft, datediff(day, prev_order_ft, order_dt) as gap_days from Orders ) select customer_id, max(gap_days) as gap_days from cte where gap_days > 60 group by customer_id

Middle

Островок

Van egy ügyfél táblánk (azonosító, név, cím stb.), termékek (azonosító, név stb.), termékmozgás (itt van ügyfél azonosító, termék, dátum, mennyiség, összeg), meg kell találni, mely termékeket adták el január 1-jén, csak az egyedi, és meg kell mutatni a vásárló nevét és...

Middle

СБЕР

Milyen csapatban és milyen vezetés alatt érzi magát a legkényelmesebben a munkában?

A tárhely a Data Vault séma szerint épült — te is fejlesztetted, karbantartottad? Kézzel adtál hozzá hubokat, linkeket?

Middle

МВидео

Hogyan érted a kulcsok fogalmát a táblákban — mire van szükség rájuk?

Milyen munkarendet preferál: távoli, hibrid vagy irodai?

Meg lehet nézni a tábla sémáját a Hive-ben történő lekérdezés előtt?

Middle

Aston

Hogyan látja a fejlődését az új csapatban, és mely feladatokat szeretné a leginkább végezni?

Mire használják a dekorátorokat az Apache Airflow-ban?

Mi az az RDD az Apache Spark-ben, és miben különbözik más Spark absztrakcióktól?

Milyen kulcs típusok/disztribúciós stratégiák léteznek a Greenplum-ben?

Van tapasztalata Spark feladatok optimalizálásában? Tudna egy konkrét példát mondani?

Middle

Aston

Milyen szereped volt egy 4 fős csapatban, és hogyan látod a karriered 3-4 év múlva, milyen célokat tűzöl ki?

Middle

МВидео

A PostgreSQL-ban a sorverzió fejléc tartalmazza az xmax paramétert. Mi a szerepe a tranzakciók kezelésében? - Az egyedi sorazonosító létrehozásához a táblában - A sor láthatóságának ellenőrzéséhez más tranzakciók által - A tranzakció számának megjelöléséhez, amely törölte vagy frissítette a sort - A sor zárolásához több tranzakció egyidejű módosításai ellen - A maximális érték megadásához, amely beírható egy numerikus oszlopba

Hogyan hozhatunk létre sok azonos feladatot párhuzamosan az Airflow-ban (például sok azonos fájl feltöltése)?

Mi az a VACUUM a PostgreSQL-ben? Milyen típusai vannak? Használható-e éles környezetben?

Dolgoztál már ablakfüggvényekkel? Milyen típusú ablakfüggvényeket ismersz?

Middle

Aston

Milyen típusú típusosítás van Pythonban: statikus vagy dinamikus?

Middle

МТС