Cum se pot transfera datele dintr-o vedere materializată din Greenplum în ClickHouse?
Data Engineer
Care a fost rolul tău într-o echipă de 4 persoane și cum îți vezi cariera peste 3-4 ani, ce obiective îți propui?
Cât de bine cunoști Python?
Câte descărcări au fost în total — joburi de nivel înalt, fire?
Cum lucrai cu funcțiile analitice (funcțiile de fereastră)?
Furnizăm metadate la intrare, iar acesta creează un flux pe baza acestor metadate — cum va permite acest lucru transferul rapid al fluxurilor existente de pe sistemele vechi pe cele planificate?
La CTE se consumă multă memorie — când avem un consum mare de memorie, ce se întâmplă cu datele?
Depozitarea mare a fost — cât de dificil a fost să o menții manual în volume și obiecte?
În ceea ce privește interogarea, putem vedea ce se întâmplă cu datele, inclusiv ce tipuri de join-uri — ce tipuri de join-uri putem vedea acolo?
Cum se încarcă date din Kafka în ClickHouse prin streaming pentru rapoarte în timp real?
Cu Kafka, nu este nimic dificil, principalul fiind procesarea datelor — la ce nuanțe trebuie să fim atenți?
Există un lider sau altcineva a condus echipa de 4 persoane?
Ce tip de citire este utilizat în ClickHouse?
Stocarea a fost construită conform schemei Data Vault — ai dezvoltat-o și tu, ai întreținut-o? Ai adăugat manual hub-uri, link-uri?
Cum se pot transfera datele din Greenplum și Trino către ClickHouse?
Ai deja câteva propuneri de muncă?
Greenplum aparține mai mult tipului OLTP sau OLAP?
Fișierele de swap — cum influențează performanța? Când mai pot apărea fișiere de swap?
Se respectă ACID în Greenplum?
Data Vault este un instrument util, dar devine prea mult de obiecte. Poți explica diferența dintre hub-uri, link-uri și sateliți?