Data Engineer
Mi az a shuffle a Spark-ben, és miért szükséges?
Mi az a változó var, milyen típusú?
Beállítottál címkéket az S3-ban a vödrökön vagy az objektumokon?
Hogyan szervezed általában a feladatokon végzett munkádat, és hogyan követed nyomon a haladást?
Milyen sorrendben hajtódnak végre az SQL fő műveletei: SELECT, FROM stb.?
Kik voltak az adatok fogyasztói, és hogyan épültek a vitrinek?
Mi a különbség a WHERE és a HAVING között SQL-ben?
Meséljen magáról, hol dolgozott, mivel foglalkozott, milyen érdekes feladatok és kudarcok voltak.
Meséljen az indexek alkalmazásának legjobb gyakorlatairól - mikor és milyen gyakran használja őket.
Mi történt és hogyan lehet visszaszerezni a munkát?
Hogyan dolgozik általában Git-tel csapatban? És mi az a Merge Request?
Meséljen többet az adatok eloszlási torzulásáról a shardok között: hogyan határozták meg és hogyan használták a megfelelő funkciót/mekaniszmust?
Hogyan adjunk hozzá mozgó átlagot a felhasználónkénti aktuális és két előző napi rendelés összegéhez?
Milyen további DDL/CREATE TABLE paramétereket ismersz a ClickHouse-ban, mire hatnak és milyen esetekben használják őket?
Ismeri az UDF-t (Felhasználó által definiált függvények) a ClickHouse-ban, dolgozott már velük?
A megjelenített képernyőn két adatszerkezet van; melyikben lesz gyorsabb a 2 érték keresése és miért?
Hogyan lehet adatokat átvinni a feladatok között az Airflow-ban?
Vannak-e olyan funkciók és lehetőségek a Greenplumban, amelyek nem találhatók meg a szokásos MySQL-ben és más dialektusokban?
Mondjon egy példát, amikor sikerült javítani a folyamatokat vagy eszközöket a csapat számára.
A képen látható táblastruktúra létrehozva. Szükséges végrehajtani a képen látható lekérdezést. Milyen típusú join-t kell használni a [...] helyén, hogy az eredményben type = 'table_aw' rekordok esetén a 'naming' oszlop kitöltve legyen, és type = 'table2' rekordok esetén a 'serial_number' oszlop? create table multirelation( type varchar not null, entity_id integer not null ); create table table_aw( id integer primary key, naming varchar not null ); create table table2( id integer primary key, serial_number varchar not null ); -- táblák szerkezete select m.type,m.entity_id, ta.naming, t2.serial_number from multirelation m [...] join table_aw ta on m.entity_id = ta.id and m.type='table_aw' [...] join table2 t2 on m.entity_id = t2.id and m.type='table2'; -- lekérdezés Hagyja üresen inner cross right left