Data Engineer

Hol nézheted meg az Airflow feladatnaplóit?

Hogyan működik a ClickHouse, és miben különbözik a PostgreSQL-től?

Hogyan kezeli a Pandas a hiányzó adatokat?

Threading, multiprocessing, asyncio: mi a különbség és mikor érdemes melyiket használni?

Hol jelenik meg párhuzamosság az Airflow-ban?

Hogyan lehet nagy XML-fájlokat ZIP-ben parse-olni és betölteni a ClickHouse-ba Python segítségével?

Hogyan befolyásolja az ORDER BY a ClickHouse táblát, és mely kulcsokat érdemes választani?

Mi a különbség a generátorok és a listák között Pythonban?

Milyen típusú indexek vannak a PostgreSQL-ben?

Miért jobb a Pandas, mint a szokásos listák és szótárak Pythonban?

Hogyan frissítsük a táblát a ClickHouse-ban úgy, hogy a felhasználók semmit ne érzékeljenek (atomikus csere)?

Mi az a GIL (Global Interpreter Lock)?

Hogyan ne öltesd meg a Jupyter-t vagy a Pandas-t memória miatt?

Az Airflow feladatnaplók általában miből állnak?

Mire való az ablakfüggvények?

Hogyan hozhatunk létre sok azonos feladatot párhuzamosan az Airflow-ban (például sok azonos fájl feltöltése)?

Mi a különbség a WHERE és a HAVING között?

Hogyan működik a JOIN a ClickHouse-ban?

Egy drága foglalások listájának készítése Kérdés Hogyan készíthetsz egy listát a [telefon] napján lévő foglalásokról, amelyek több mint 30 dollárba kerülnek a tagnak (vagy vendégnek)? Ne feledd, hogy a vendégeknek más költségeik vannak, mint a tagoknak (a felsorolt költségek félórás 'hely' szerint vannak megadva), és a vendég felhasználó mindig az ID 0. Tartalmazza a kimenetben az intézmény nevét, a tag nevét egyetlen oszlopként, és a költséget. Rendezd csökkenő sorrendbe a költség szerint, és ne használj alkérdéseket.

Hogyan működik a tömörítés a ClickHouse-ban?