Data Engineer

Parla dei concetti di base di Kafka (gruppo di consumatori, partizioni, argomenti).

Con quale versione di Airflow hai lavorato?

Qual è stata la tua architettura nel progetto? DWH o qualcos'altro?

Middle

Aston

Come trasferire dati tra i task in Airflow?

Per favore, raccontami la tua esperienza dell'ultimo anno: quale team, quali compiti, quale ruolo e qual è stato il compito più interessante.

È stata creata la struttura delle tabelle indicata nell'immagine. È necessario eseguire la query indicata nell'immagine. Quale tipo di join bisogna usare al posto di [...], affinché nel risultato, le righe con type = 'table_aw' abbiano la colonna 'naming' riempita, e per le righe con type = 'table2' abbiano la colonna 'serial_number'? create table multirelation( type varchar not null, entity_id integer not null ); create table table_aw( id integer primary key, naming varchar not null ); create table table2( id integer primary key, serial_number varchar not null ); -- struttura delle tabelle select m.type,m.entity_id, ta.naming, t2.serial_number from multirelation m [...] join table_aw ta on m.entity_id = ta.id and m.type='table_aw' [...] join table2 t2 on m.entity_id = t2.id and m.type='table2'; -- query Lasciare vuoto inner cross right left

Come unire due tabelle in SQL?

Middle

МТС

Il nostro argomento è molto strutturato, a forma di albero, i dati sono grezzi — come elaborarli?

Middle

МВидео

Come garantire al cliente mobile l'accesso agli stessi ordini, ma con un set di campi più ridotto? Cos'è BFF?

Qual è lo stipendio che ti aspetti?

Hai mai dovuto fare report, dashboard, visualizzazioni (BI)?

Hai lavorato con annotazioni di tipo? Sai cos'è?

Middle

МТС

Parlami del compito più difficile o interessante che hai dovuto risolvere

Middle

Купер

Descrivi il processo di archiviazione dei dati da Oracle a Parquet (HDFS) per partizioni e il pipeline inverso di ripristino dei dati. Come risolvere il problema di riarchiviazione dei dati ripristinati?

Middle

Aston

Quanti download ci sono stati in totale — lavori di alto livello, thread?

Middle

МВидео

In quali casi si applica la normalizzazione e in quali la denormalizzazione?

[nome] ha chiesto: Come implementare la conservazione dei dati solo per 2 anni in ClickHouse?

Per quali compiti ClickHouse non è adatto e cosa sceglieresti invece?

git submodule update --init

Il piano di esecuzione di EXPLAIN corrisponde sempre a ciò che viene effettivamente eseguito?

Middle

Aston