Ako preniesť údaje z materializovaného pohľadu v Greenplum do ClickHouse?
Data Engineer
Aká bola tvoja úloha v tíme z 4 ľudí a ako vidíš svoju kariéru za 3-4 roky, aké ciele si stanovíš?
Ako dobre poznáte Python?
Ako si pracoval s analytickými funkciami (okenné funkcie)?
Koľko bolo celkovo stiahnutí — vysoké úrovne práce, vlákna?
Na vstupe poskytujeme metadáta a on na základe týchto metadát vytvára tok — ako to umožní rýchly presun existujúcich tokov zo starých systémov do plánovaného?
Veľké skladovanie bolo — aké ťažké bolo ho udržiavať ručne v objemoch a objektoch?
V CTE sa používa veľa pamäte — keď máme vysoké využitie pamäte, čo sa deje s údajmi?
Úložisko bolo postavené podľa schémy Data Vault — ty si ho tiež rozvíjal, udržiaval? Ručne pridával huby, linky?
Čo sa týka dotazu, môžeme vidieť, čo sa deje s údajmi, vrátane akých typov joinov — aké typy joinov tam môžeme vidieť?
Ako načítať dáta z Kafka do ClickHouse pomocou streamingu pre správy v reálnom čase?
Aký typ čítania sa používa v ClickHouse?
S Kafka nič nie je ťažké, dôležité je spracovať údaje — na aké nuansy je potrebné dávať pozor?
Bol v tíme z 4 ľudí nejaký líder alebo ho viedol niekto iný?
Máš už nejaké pracovné ponuky?
Swap súbory — ako ovplyvňujú výkon? Kedy sa môžu ešte vyskytnúť swap súbory?
Greenplum viac patrí k typu OLTP alebo OLAP?
Ako preniesť údaje z Greenplum a Trino do ClickHouse?
Data Vault je užitočný nástroj, ale je veľa objektov. Môžeš vysvetliť rozdiel medzi hubmi, linkami a satelitmi?
V tejto schéme je Trino zodpovedný za spracovanie údajov — ako vám technológia stack umožňuje oddeliť úložisko od výpočtov?