Kā pārvietot datus no Greenplum materiālizētā skata uz ClickHouse?
Data Engineer
Kāda bija tava loma četru cilvēku komandā un kā tu redzi savu karjeru pēc 3-4 gadiem, kādus mērķus izvirzi?
Kopējais lejupielāžu skaits — augstākās līmeņa darbi, pavedieni?
Cik labi pazīstat Python?
CTE ir daudz atmiņas – kad mums ir liels atmiņas patēriņš, kas notiek ar datiem?
Liela glabāšana bija — cik grūti bija to manuāli uzturēt apjomos un objektos?
Mēs ievadām metadatus kā ievadi, un tas balstās uz šiem metadatiem — kā tas ļaus ātri pārvietot esošos plūsmas no vecajām sistēmām uz plānotajām?
Attiecībā uz vaicājumu mēs varam redzēt, kas notiek ar datiem, tostarp kādiem savienojumu veidiem — kādus savienojumu veidus mēs varam redzēt tur?
Kāda veida lasīšana tiek izmantota ClickHouse?
Kā ielādēt datus no Kafka uz ClickHouse, izmantojot streaming, reāllaika atskaitēm?
Kā darbojās analītiskās funkcijas (logu funkcijas)?
Ar Kafka nav nekas grūts, galvenais ir apstrādāt datus — kādus nianses jāņem vērā?
Vai 4 cilvēku komandā bija kāds līderis vai kāds cits vadīja to?
Kā pārsūtīt datus no Greenplum un Trino uz ClickHouse?
Krātuve tika būvēta pēc Data Vault shēmas — vai tu taip pat to plėtojai, palaikei? Rūpīgi pievienoji hubus, saites?
Vai tev jau ir darba piedāvājumi?
Vai jūs zināt Rust valodā uzrakstītu daudzprocesuālu, ļoti ātru bibliotēku, kas var aizstāt Pandas?
Kura veida vairāk pieder Greenplum — OLTP vai OLAP?
Vai Greenplum ievēro ACID?
Kā atšķiras CTE no apakšvaicājuma?