Data Engineer

Wie löst man das Problem, wenn der Leseprozess während eines mehrstufigen ETL (delete+insert) in Iceberg einen Zwischenzustand (inkonsistent) der Tabelle sehen kann?

Der Speicher wurde nach dem Data Vault-Schema gebaut — hast du ihn auch entwickelt, gewartet? Hast du manuell Hubs, Links hinzugefügt?

Middle

МВидео

Haben Sie die Datenqualitätsprüfungen selbst durchgeführt oder kamen die Anforderungen vom Business/Kunden?

Middle

СБЕР

Bitte erzählen Sie uns, warum Sie an dieser Stelle interessiert sind.

In welchen Fällen kann eine materialisierte Ansicht in ClickHouse Daten überspringen oder sie doppeln?

Was ist Normalisierung und Denormalisierung, wann sind sie notwendig?

Geben Sie ein Beispiel für eine typische Aufgabe beim Schreiben eines DAG in Airflow.

Middle+

Лига Цифровой Экономики

Was ist passiert und wie kann man die Arbeit wiederherstellen?

Was ist ACID? Was bedeutet jeder Buchstabe? Wie hängt das mit Transaktionen zusammen?

Bewerten Sie die endgültige Lösung hinsichtlich Zeit und Speicher.

Wie realistisch sind die Pläne des Unternehmens, ein System zur Sammlung, Normalisierung und Analyse von Daten aufzubauen?

Worin besteht der Unterschied zwischen EXPLAIN ANALYZE und einem normalen EXPLAIN? Warum ist es nicht ratsam, es bei DELETE/UPDATE-Anfragen auszuführen?

Erklären Sie die lazy und sofortigen Berechnungen in Spark.

Middle

Островок

Es gab eine langsame analytische Abfrage in Hive. Wie erkennt man, was passiert ist, und wie repariert man sie?

Middle

Aston

Kannst du erklären, was wir hier am Ende bekommen? Du musst jeden Schritt kommentieren, wie es funktioniert.

Middle

МВидео

Es gibt eine Tabelle T1 (10 Zeilen) und eine Tabelle T2 (5 Zeilen), beide mit einem ID-Feld. Wie viele Zeilen können maximal und minimal bei einem INNER JOIN und einem LEFT JOIN dieser Tabellen in der Ausgabe sein?

Middle

СБЕР

Was ist zu überprüfen, wenn die Protokolle nicht geöffnet werden (Fehler 403)?

In welcher Phase, welche Prüfungen werden durchgeführt und was passiert mit ungültigen Daten bei der Datenqualitätsprüfung (Data Quality)?

Middle

СБЕР

Data Vault ist ein praktisches Tool, aber es gibt zu viele Objekte. Kannst du den Unterschied zwischen Hubs, Links und Satelliten erklären?

Middle

МВидео

Woraus bestehen die Airflow-Task-Logs normalerweise?