Data Engineer

Hai lavorato con i gestori di contesto in Python? Cos'è e a cosa servono?

Middle

Островок

A cosa servono cache e persist in Spark?

Come avete avviato i DAG: tramite cron, dataset, trigger o dipendenze?

Middle+

Лига Цифровой Экономики

importa clickhouse_driver from airflow.hooks.base import * def get_clickhouse_client(): conn = BaseHook.get_connection("clickhouse_default") return clickhouse_driver.Client( host=conn.host, port=conn.port, user=conn.login, password=conn.password, database=conn.schema )

Quali parametri di Spark JDBC sono stati utilizzati per parallelizzare la lettura?

In quale direzione sarebbe interessante svilupparsi: vetrine, sviluppo, analisi, forse AI?

Middle

СБЕР

Quali problemi non evidenti possono verificarsi durante il caricamento di grandi tabelle (oltre alle prestazioni)?

In quale ambiente è stato avviato Spark?

Hai esperienza con motori come Trino o con formati tabellari (Iceberg, Parquet) in Spark?

Confronta gli approcci ETL e ELT: qual è la differenza e quando si applica ciascuno di essi?

Parla dei concetti di base di Kafka (gruppo di consumatori, partizioni, argomenti).

CREATE TABLE datamarts.daily_revenue_per_country ON CLUSTER cluster_4x2 ( event_date Date, country String, total_revenue Float64 ) ENGINE = MergeTree() PARTITION BY toYYYYMM(event_date) ORDER BY (event_date);

Parlami dei processi CI/CD, delle modifiche nel database, del versioning e delle migrazioni dello schema (evoluzione dello schema).

Puoi parlarmi della tua esperienza con i database distribuiti (Greenplum, ClickHouse)?

Proponi una soluzione per il caricamento incrementale regolare di una grande tabella con una frequenza di aggiornamento flessibile (mutabile) da Postgres a Data Lake.

E se abbiamo bisogno di tutti i clienti, anche se non hanno avuto transazioni in quella data, come possiamo visualizzarli?

Middle

СБЕР

Cosa scatena la creazione di un nuovo Job in Spark e come un Job viene suddiviso in Stages e Tasks?

Hai lavorato con i feature store?

Usa l'IA nel suo lavoro attuale? Quali strumenti e come esattamente?

Hai esperienza completa del ciclo: dalla richiesta non strutturata dell'utente al pannello di visualizzazione pronto? Ti piace questo tipo di lavoro?