Data Engineer

Milyen további DDL/CREATE TABLE paramétereket ismersz a ClickHouse-ban, mire hatnak és milyen esetekben használják őket?

Hogyan valósítható meg az adatok egyenetlen elosztása a kirakatban: 50% az elsőn és 25% a többi kettőn?

Hogyan készültek a táblák a klaszterben, és hogyan oldották meg a problémát, amikor a ZooKeeper miatt egy replikát hiányzott egy shardról?

Hogyan oldottad meg az optimalizációs problémákat, amikor a lekérdezés hosszú ideig tartott és teljes szkennelt? Hogyan közelítettél egy ilyen új feladathoz?

Hogyan olvastad pontosan a Parquet-et?

Milyen esetekben hagyhat ki adatokat vagy duplikálhatja azokat a ClickHouse Materialized View?

Előfordult már, hogy a ClickHouse `Too many parts` hibával találkozott beszúrás közben? Hogyan oldotta meg?

Meséljen többet az adatok eloszlási torzulásáról a shardok között: hogyan határozták meg és hogyan használták a megfelelő funkciót/mekaniszmust?

Milyen Python könyvtárakkal dolgozott?

Ismeri az UDF-t (Felhasználó által definiált függvények) a ClickHouse-ban, dolgozott már velük?

Hogyan javítottad ki az adatok client_id szerinti torzulását, amikor egy ügyfél jelentősen nagyobb volt a többinél? Milyen lehetőségek vannak?

Milyen paraméterekkel ismeri a Distributed motor működését a ClickHouse-ban?

Hogyan járnál el a Materialized View láncával egy ReplacingMergeTree közbenső táblán keresztül, hogy helyesen töltsd fel a már létező adatokat a új MV indítása előtt?

Mely mezőkön történt az adatok összefűzése, és hogyan szüntették meg a duplikátumokat a vitrínben?

Milyen Airflow verzióval dolgozott?

Hogyan szervezzük az adatbetöltést a ClickHouse-ba egy nagy PostgreSQL táblában, amelybe folyamatosan érkeznek új rekordok monoton növekvő elsődleges kulccsal?

Ismeri a ReplicatedQueue-t? Van tapasztalata vele kapcsolatban?