Data Vault to wygodne narzędzie, ale jest za dużo obiektów. Czy możesz wyjaśnić różnicę między hubami, linkami i satelitami?
Middle
187
Data Engineer
671
0
Trino w tym schemacie odpowiada za przetwarzanie danych — jak stos technologiczny pozwala oddzielić przechowywanie od obliczeń?
Middle
186
Czy możesz opowiedzieć, co ostatecznie tutaj uzyskamy? Należy skomentować każdy krok, jak to działa.
Middle
186
Czy znasz bibliotekę w Rust, wielowątkową, bardzo szybką, która może zastąpić Pandas w Data Science i Big Data?
Middle
184
Czym różni się CTE od podzapytania?
Middle
183
Jak dzielić zapytanie na etapy? Co robimy w tym celu?
Middle
178
Jakie technologie były używane do pobierania i ładowania danych do Parquet, oraz jakie mechanizmy były stosowane?
Middle
178
Jak napisałeś DAG Airflow i zadania — ręcznie czy za pomocą szablonów?
Middle
175
Przy streamingu Iceberg działał, słyszałeś? To jest śmietnikowe przechowywanie plików.
Middle
173
Jak dane z zewnętrznej tabeli były ładowane do tabel docelowych?
Middle
171
Jak zwykle tworzyłeś schemat bazy danych — ręcznie w bazie, czy przechowywałeś skrypty gdzieś, czy korzystałeś w ogóle z Liquibase? Jaki był proces?
Middle
171
Czy ładowałeś dane z Spark do S3 w formacie Parquet, a następnie z Parquet do Greenplum — jak wygląda proces ładowania?
Middle
171
To jest w czasie rzeczywistym, jak to zrealizować między Kafka a ClickHouse Spark?
Middle
170
Czy ma sens używać CTE, jeśli jest używana tylko raz w zapytaniu?
Middle
169
Czy z zależnościami między zadaniami, między DAG-ami — używałeś czujników, aby uruchamiały się one jeden po drugim?
Middle
169
Będziemy parsować JSON — kto będzie parsować JSON? O ile wiem, w ClickHouse nie ma funkcji.
Middle
166
Czy pracowałeś z Git? Co przechowywałeś w Git?
Middle
164
Czy musiałeś pracować bezpośrednio z Spark? Jaka jest jego wada?
Middle
163
Potrzebujemy silnika pipeline — mechanizmu, który pozwoli na bardzo szybkie tworzenie przepływów poprzez podanie na wejście kontraktów i parametrów. Jak byś to zrealizował na wyższym poziomie?
Middle
161
Jaki typ odczytu jest używany w Greenplum: wierszowy czy kolumnowy?
Middle
159