Warum suchst du jetzt eine neue Stelle, möchtest du den Job wechseln?
Data Engineer
Was ist ein CROSS JOIN? Haben Sie schon damit gearbeitet?
Mit welchem Gehalt rechnest du?
Was wird im Ergebnis erfasst, wenn Transaktionen mit Kunden nach client_id und date_start (ohne BETWEEN) verbunden werden?
Kann man in Spark Daten parallel aus einer einzigen Parquet-Datei lesen, oder nur mit einem Kern in einer Aufgabe?
Erzählen Sie mir von einigen Ihrer wichtigsten Aufgaben im Zusammenhang mit der Datenqualität.
Welche Arten von JOIN kennst du? (logisch)
Was sind die Vor- und Nachteile von Zeilen- und Spaltendatenbanken? Was ist effizienter für Gruppierung und Aggregation?
Erzähle mir von dir — Berufserfahrung, Technologiestack
-- Gegebene Tabelle numbers mit einer Spalte num (Ganzzahlen, die sich wiederholen können). -- Schreiben Sie eine SQL-Abfrage, die die Zahlen in zwei Spalten aufteilt: -- even – gerade Zahlen (aufsteigend sortiert) -- odd – ungerade Zahlen (aufsteigend sortiert) -- Die Zahlen sollen Zeile für Zeile angeordnet werden: in der ersten Zeile – die erste gerade und die erste ungerade Zahl, -- in der zweiten Zeile – die zweite gerade und die zweite ungerade Zahl usw. -- Wenn in einer Gruppe mehr Zahlen sind als in der anderen, sollen die fehlenden Stellen NULL sein. -- Ursprüngliche Tabelle -- num -- --------- -- [phone] -- Ergebnis der Abfrage -- even | odd -- -----|----- -- 2 | 1 -- 4 | 3 -- 6 | 5 -- 8 | 7 -- 10 | 9 -- NULL | 11 -- NULL | 11
Welche physikalischen JOINs kennst du?
Erzähle mir von deinem Verständnis der Datenqualität — hast du Erfahrung in diesem Bereich?
Haben Sie mit den Data-Vitrinen (DWH-Schicht) gearbeitet?
Es gibt eine Tabelle T1 (10 Zeilen) und eine Tabelle T2 (5 Zeilen), beide mit einem ID-Feld. Wie viele Zeilen können maximal und minimal bei einem INNER JOIN und einem LEFT JOIN dieser Tabellen in der Ausgabe sein?
Was ist LEFT SEMI JOIN und LEFT ANTI JOIN in Spark SQL, haben Sie sie schon einmal verwendet?
Wenn im Executor 10 Kerne sind, wie viele Tasks werden gleichzeitig zu einem Zeitpunkt ausgeführt?
Was ist Partitionierung? Was ist Sharding? Was ist Replikation?
Beschreiben Sie Fensterfunktionen in der möglichst erweiterten Form: Welche Schlüsselwörter werden verwendet und wofür steht jedes einzelne.
Was gibt die Funktion find_mode für die Liste [1, 2, 3, 3, 4, 5] zurück? Erkläre Schritt für Schritt.
-- t1 -- num --------- -- 1 -- 2 2 null null 4 -- t2 -- num --------- -- [Telefon] null null 5 AUSWÄHLEN a.num ALS a_num, b.num ALS b_num VON t1 a LINKS JOIN t2 b ON a.num = b.num;