Jak przenieść dane z materializowanego widoku w Greenplum do ClickHouse?
Data Engineer
Jaka była Twoja rola w zespole 4-osobowym i jak widzisz swoją karierę za 3-4 lata, jakie cele sobie wyznaczasz?
Ile było łącznie pobrań — zadania na wysokim poziomie, wątki?
Jak dobrze znasz Pythona?
W CTE zużywa się dużo pamięci – gdy mamy duże zużycie pamięci, co się dzieje z danymi?
Duże przechowywanie było — jak trudne było utrzymanie go ręcznie w objętościach i obiektach?
Wprowadzamy metadane jako dane wejściowe, a on na ich podstawie tworzy przepływ — jak to umożliwi szybkie przeniesienie istniejących przepływów ze starych systemów do planowanych?
Z Kafka nic trudnego, najważniejsze jest przetwarzanie danych — na jakie niuanse należy zwrócić uwagę?
Jeśli chodzi o zapytanie, możemy zobaczyć, co się dzieje z danymi, w tym jakie typy joinów — jakie typy joinów możemy tam zobaczyć?
Jak ładować dane z Kafka do ClickHouse za pomocą streamingu do raportów w czasie rzeczywistym?
Jak działały funkcje analityczne (funkcje okienkowe)?
Jaki typ odczytu jest używany w ClickHouse?
Czy w zespole z 4 osób był jakiś lider lub ktoś inny nim kierował?
W jaki sposób można przesłać dane z Greenplum i Trino do ClickHouse?
Magazyn został zbudowany według schematu Data Vault — czy ty też go rozwijałeś, utrzymywałeś? Dodawałeś ręcznie huby, linki?
Czy znasz bibliotekę w Rust, wielowątkową, bardzo szybką, która może zastąpić Pandas w Data Science i Big Data?
Czy masz już jakieś oferty pracy?
Jak pliki swap wpływają na wydajność? Kiedy jeszcze mogą pojawić się pliki swap?
Do jakiego typu bardziej należy Greenplum — OLTP czy OLAP?
Data Vault to wygodne narzędzie, ale jest za dużo obiektów. Czy możesz wyjaśnić różnicę między hubami, linkami i satelitami?