Data Engineer

Schreiben Sie ein DAG zum Laden von Daten über die REST-API

Gab es Probleme mit OpenAPI beim Wechsel von Spring Boot 2 zu 3?

Wie funktioniert MapReduce, insbesondere die Reduce-Phase?

Middle

Aston

Wie lange dauert die Lösung mit eingebautem sorted? Kann man eine schnellere Lösung entwickeln?

Haben Sie schon einmal mit der Optimierung von Abfragen gearbeitet? Womit beginnt die Optimierung?

Middle

МВидео

Im Prozess der Arbeit mit git bisect bist du auf einen Commit gestoßen, der aufgrund des Fehlens der erforderlichen Umgebung nicht überprüft werden kann. Was solltest du in dieser Situation tun? - Den Befehl git bisect start mit anderen Hashes wiederholen - Diesen Commit mit dem Befehl git bisect skip überspringen - Den Bisection-Prozess mit dem Befehl git bisect reset zurücksetzen - Den Commit mit dem Befehl git bisect good als gut markieren - Den Commit mit dem Befehl git bisect bad als schlecht markieren

Worauf verzichtet die Datenbank bei schnellem Laden von Daten (COPY in Postgres, BULK INSERT)?

Zu welchem Typ gehört Greenplum mehr – OLTP oder OLAP?

Middle

МВидео

Wie tief sind Ihre Kenntnisse in Python, welche Bibliotheken haben Sie verwendet?

Wie funktioniert die Komprimierung in ClickHouse?

Was macht OPTIMIZE in ClickHouse und warum sollte man es nicht bedenkenlos ausführen?

Wie kann man Daten aus ClickHouse löschen?

Was ist eine Partition in ClickHouse und nach welchem Prinzip wird sie ausgewählt?

Was ist VACUUM in PostgreSQL? Wofür ist es notwendig?

Wie wird eine Datei aus HDFS gelesen, zum Beispiel Parquet — vollständig oder in Blöcken?

Middle

Aston

Wie funktioniert Merge Join (Verbindung mit Sortierung)?

Middle+

СБЕР

Anteil des Bot-Traffics Das Anti-Betrugs-Team hat einen Mechanismus entwickelt, um Bot-Traffic auf der Website des Shops zu erkennen: Wenn ein Bot die Website betritt, wird die Substring "bot" (ohne Berücksichtigung der Groß-/Kleinschreibung) zu den URL-Parametern hinzugefügt. Wenn die user_id im Dezember mindestens einmal als Bot identifiziert wurde, soll sie immer als Bot betrachtet werden. Untersuchen Sie den Datensatz mit den Nutzerbesuchen auf der Website und berechnen Sie den Anteil der Bots an der Gesamtzahl der Nutzer im Dezember 2024 (auf eine Nachkommastelle gerundet). Eingabeformat Tabelle visits: - event_date (date) — Besuchsdatum - user_id (int) — eindeutiger Nutzeridentifikator - url (string) — Link, über den die Besuch erfolgt ist Die Daten enthalten keine fehlenden oder fehlerhaften Werte. Ausgabeformat Die Abfrage sollte eine Tabelle mit den Feldern zurückgeben: - share (float) — Anteil der Bots an der Gesamtzahl der Nutzer im Dezember, auf eine Nachkommastelle gerundet.

Gegeben sind zwei Tabellen t1 und t2. Die Aufgabe ist, alle Arten von Joins aufzulisten, die du kennst, und das Ergebnis der Abfrage select * from t1 <join> t2 on t1.t = t2.t für jeden von ihnen. |t1.t| ------ 1 2 4 null ------ |t2.t| ------ 1 3 null null cross 1 1 - null null - INNER JOIN [phone] LEFT JOIN 1 - 1 2 - NULL 4 - NULL NULL - NULL RIGHT JOIN [phone] NULL - 3 NULL - NULL NULL - NULL FULL JOIN [phone] - NULL 4 - NULL NULL - 3 null - NULL null - NULL null - NULL

Middle

Купер

Wie funktionierten die analytischen Funktionen (Fensterfunktionen)?

Middle

МВидео

Was sind Ihre Gehaltsvorstellungen?