Data Engineer

Mis à part l'API, quels autres moyens et protocoles avez-vous utilisés pour travailler avec les sources de données?

Middle+

Лига Цифровой Экономики

Parle-moi de ta compréhension de la qualité des données — as-tu déjà travaillé dans ce domaine?

Middle

СБЕР

Quels agents et modèles sont utilisés dans votre solution d'IA d'entreprise ? Écrit-il du code pour vous ?

À quoi servent cache et persist dans Spark?

Comment avez-vous lancé les DAGs : par cron, datasets, déclencheurs ou dépendances ?

Middle+

Лига Цифровой Экономики

importer clickhouse_driver from airflow.hooks.base import * def get_clickhouse_client(): conn = BaseHook.get_connection("clickhouse_default") return clickhouse_driver.Client( host=conn.host, port=conn.port, user=conn.login, password=conn.password, database=conn.schema )

Quels paramètres Spark JDBC ont été utilisés pour paralléliser la lecture?

Qu'est-ce qu'un CROSS JOIN et quel est le résultat de son application?

Dans quelle direction serait-il intéressant de se développer : vitrines, développement, analyse, peut-être IA ?

Middle

СБЕР

-- t1 -- num --------- -- 1 -- 2 2 null null 4 -- t2 -- num --------- -- [téléphone] null null 5 SÉLECTIONNER a.num AS a_num, b.num AS b_num DE t1 a JOINTURE GAUCHE t2 b SUR a.num = b.num;

Middle

СБЕР

Quels problèmes non évidents peuvent survenir lors du chargement de grandes tables (en dehors des performances) ?

La fonction de fenêtre SUM() OVER (PARTITION BY user_id) — dans un cas, nous ajoutons ORDER BY date d'achat, dans l'autre non. Quelle est la différence?

À quoi vous servait en général Data Vault?

Quel type de stockage a Parquet : ligne ou colonne ?

Middle+

Лига Цифровой Экономики

Parlez-moi de la tâche de configuration de la réplication que vous avez résolue.

CREATE TABLE datamarts.daily_revenue_per_country ON CLUSTER cluster_4x2 ( event_date Date, country String, total_revenue Float64 ) ENGINE = MergeTree() PARTITION BY toYYYYMM(event_date) ORDER BY (event_date);

Parlez-moi des processus CI/CD, des modifications dans la base de données, du versionnage et des migrations de schéma (évolution du schéma).

Qu'est-ce qui t'attire dans le domaine du travel ? Peut-être que tu aimes voyager toi-même, ou que le travel-tech t'a intéressé d'une manière ou d'une autre ?

Parlez-moi de votre expérience avec les bases de données distribuées (Greenplum, ClickHouse) ?

Proposez une solution pour le chargement incrémentiel régulier d'une grande table avec une fréquence de mise à jour flexible (modifiable) de Postgres vers Data Lake.