Kannst du erklären, was wir hier am Ende bekommen? Du musst jeden Schritt kommentieren, wie es funktioniert.
Middle
186
Data Engineer
671
0
Trino in diesem Schema ist für die Datenverarbeitung verantwortlich — wie ermöglicht der Technologiestapel die Trennung von Speicherung und Berechnungen?
Middle
186
Data Vault ist ein praktisches Tool, aber es gibt zu viele Objekte. Kannst du den Unterschied zwischen Hubs, Links und Satelliten erklären?
Middle
185
Was ist der Unterschied zwischen einem CTE und einer Unterabfrage?
Middle
183
Kennst du eine in Rust geschriebene, Multithread-fähige Bibliothek, die sehr schnell ist und Pandas für Data Science und Big Data ersetzen kann?
Middle
182
Welche Technologien wurden verwendet, um die Daten in Parquet zu laden, und welche Mechanismen wurden genutzt, um die Daten zu erhalten und zu laden?
Middle
178
Wie teilt man eine Anfrage in Phasen auf? Was tun wir dafür?
Middle
175
Wie hast du den Airflow DAG und die Jobs geschrieben – manuell oder mit Vorlagen?
Middle
173
Wie wurden die Daten aus der externen Tabelle in die Zieltabellen geladen?
Middle
171
Haben Sie Daten von Spark nach S3 im Parquet-Format geladen und dann von Parquet nach Greenplum — wie verläuft der Ladeprozess?
Middle
171
Beim Streaming hat Iceberg funktioniert, hast du gehört? Es ist ein Müll-File-Storage.
Middle
171
Das ist in Echtzeit, wie kann man das zwischen Kafka und ClickHouse Spark umsetzen?
Middle
170
Mit Abhängigkeiten zwischen Jobs, zwischen DAGs — hast du Sensoren verwendet, damit sie nacheinander mehrere Jobs starten?
Middle
169
Wie hast du das Schema der Datenbank gestaltet – hast du es manuell in der Datenbank gemacht, die Skripte irgendwo gespeichert, oder hast du überhaupt Liquibase verwendet? Wie war der Prozess?
Middle
169
Hat es Sinn, eine CTE zu verwenden, wenn sie nur einmal in der Abfrage verwendet wird?
Middle
167
Wir werden JSON parsen — wer wird JSON parsen? Soweit ich weiß, gibt es in ClickHouse keine Funktionen.
Middle
164
Mussten Sie direkt mit Spark arbeiten? Was ist sein Nachteil?
Middle
163
Haben Sie mit Git gearbeitet? Was haben Sie in Git gespeichert?
Middle
162
Wir brauchen eine Pipeline-Engine — einen Mechanismus, der es ermöglicht, sehr schnell Flüsse zu erstellen, indem Verträge und Parameter eingegeben werden. Wie würdest du das auf einer höheren Ebene umsetzen?
Middle
160
Welchen Lesetyp verwendet Greenplum: Zeile oder Spalte?
Middle
159