Data Engineer

Was ist der Unterschied zwischen Virtualisierung und Containerisierung (Docker)?

Haben Sie mit Parametern und Hinweisen gearbeitet, die die Verwendung von Broadcast Join bestimmen?

Middle

Островок

Erzähl mir von deinem letzten Projekt, welche Aufgaben hattest du?

Middle

Aston

Wie hast du das Schema der Datenbank gestaltet – hast du es manuell in der Datenbank gemacht, die Skripte irgendwo gespeichert, oder hast du überhaupt Liquibase verwendet? Wie war der Prozess?

Middle

МВидео

Welcher physische JOIN-Mechanismus wird beim Verbinden der Transaktionstabelle mit der Kalendertabelle unter der Bedingung der Ungleichheit (Datum <= Datum) verwendet?

Was hast du außer Airflow DAG in Python geschrieben?

Middle

МВидео

Welche physischen JOIN-Algorithmen funktionieren in Datenbanken?

Erzähle mir von deinem Python-Niveau: was du verwendet hast, wie tief du die objektorientierte Programmierung kennst

Kennen Sie sich mit Common Table Expressions (CTE) aus? Geben Sie ein Beispiel für die Verwendung.

Wie kann man Shuffle in Spark verwalten (Partitionierung, Broadcast Join usw.)?

Welche Trace-Tools wurden verwendet? In Spring Boot 2 und Spring Boot 3?

Wurde zusätzliches Logging durchgeführt, außer den Airflow-Protokollen?

Middle+

Лига Цифровой Экономики

Haben Sie Airflow verwaltet oder nur als Entwickler gearbeitet?

Middle+

Лига Цифровой Экономики

Welche Erfahrung haben Sie mit SQL und relationalen Datenbanken?

Haben Sie schon einmal mit dem AQE-Optimierer (Adaptive Query Execution) in Spark gearbeitet? Wissen Sie, wie er funktioniert?

Wir haben eine ORDER BY nach Anzahl der Bestellungen, und es gibt zwei Bestellungen mit 5, weitere zwei mit 3. Wie verhalten sich RANK() und DENSE_RANK()?

Middle

Альфа-Банк

Welcher Befehl aus dem Stammverzeichnis des Projekts sollte verwendet werden, um das Submodul docs/ auf die neueste Version aus dem Remote-Repository zu aktualisieren und diese Änderung für den Commit vorzubereiten? git fetch docs/ && git merge docs/FETCH_HEAD git pull --recurse-submodules git submodule update --remote docs/ cd docs/ && git pull && cd .. && git commit -am "Update" git submodule update --init docs/

Haben Sie Erfahrung im Schreiben von Dokumentation?

Was ist der Unterschied zwischen dem Speicherformat Parquet und CSV?

Welche Erfahrung und welches Verständnis hast du beim Aufbau von Pipelines für die Berechnung von Schaufenstern (Datenverarbeitung)?