Data Engineer

Erzählen Sie die Grundkonzepte von Kafka (Consumer Group, Partitionen, Topics).

Mit welcher Version von Airflow haben Sie gearbeitet?

Welche Architektur hatten Sie im Projekt? DWH oder etwas anderes?

Middle

Aston

Wie überträgt man Daten zwischen Aufgaben in Airflow?

Bitte erzählen Sie mir von Ihren Erfahrungen im letzten Jahr: Welches Team, welche Aufgaben, welche Rolle und was war die interessanteste Aufgabe.

Es wurde die in der Abbildung angegebene Tabellenstruktur erstellt. Es ist notwendig, die in der Abbildung angegebene Abfrage auszuführen. Welchen Join-Typ muss man anstelle von [...] verwenden, damit in der Ergebnisliste für die Einträge mit type = 'table_aw' die Spalte 'naming' ausgefüllt ist, und für die Einträge mit type = 'table2' die Spalte 'serial_number'? create table multirelation( type varchar not null, entity_id integer not null ); create table table_aw( id integer primary key, naming varchar not null ); create table table2( id integer primary key, serial_number varchar not null ); -- Tabellenstruktur select m.type,m.entity_id, ta.naming, t2.serial_number from multirelation m [...] join table_aw ta on m.entity_id = ta.id and m.type='table_aw' [...] join table2 t2 on m.entity_id = t2.id and m.type='table2'; -- Abfrage Leer lassen inner cross right left

Wie kombiniert man zwei Tabellen in SQL?

Middle

МТС

Unser Thema ist stark strukturiert, baumartig, die Daten sind roh — wie damit umgehen?

Middle

МВидео

Wie stellt man sicher, dass der mobile Client Zugriff auf die gleichen Bestellungen hat, aber mit einer geringeren Anzahl an Feldern? Was ist BFF?

Mit welchem Gehalt rechnest du?

Musstest du schon Berichte, Dashboards, Visualisierungen (BI) erstellen?

Hast du mit Typannotationen gearbeitet? Weißt du, was das ist?

Middle

МТС

Erzählen Sie mir von der schwierigsten oder interessantesten Aufgabe, die Sie lösen mussten

Middle

Купер

Beschreiben Sie den Archivierungsprozess von Oracle-Daten nach Parquet (HDFS) nach Partitionen und die umgekehrte Pipeline zur Datenwiederherstellung. Wie löst man das Problem der erneuten Archivierung wiederhergestellter Daten?

Middle

Aston

Wie viele Downloads gab es insgesamt — hochstufige Jobs, Threads?

Middle

МВидео

In welchen Fällen wird die Normalisierung angewendet und in welchen die Denormalisierung?

[Name] fragte: Wie implementiert man die Speicherung von Daten nur für 2 Jahre in ClickHouse?

Für welche Aufgaben ist ClickHouse ungeeignet und was würden Sie stattdessen wählen?

git submodule update --init

Entspricht der Ausführungsplan von EXPLAIN immer dem, was tatsächlich ausgeführt wird?

Middle

Aston