Data Engineer

APIден тышкары, маалымат булактары менен иштөө үчүн кандай башка ыкмалар жана протоколдор колдондуңуз?

Middle+

Лига Цифровой Экономики

Маалыматтын сапаты жөнүндө түшүнүгүңүз тууралуу айтып бериңиз — бул тармакта иш тажрыйбаңыз барбы?

Middle

СБЕР

Сиздин корпорациялык AI чечимдериңизде кайсы агенттер жана моделдер колдонулат? Ал сиз үчүн код жазабы?

Spark'ta cache жана persist эмне үчүн керек?

DAG-ларды кандайча ишке киргиздиңиз: cron, маалымат топтомдору, триггерлер же көзкарандылықтар аркылуу?

Middle+

Лига Цифровой Экономики

clickhouse_driver'nu import eting from airflow.hooks.base import * def get_clickhouse_client(): conn = BaseHook.get_connection("clickhouse_default") return clickhouse_driver.Client( host=conn.host, port=conn.port, user=conn.login, password=conn.password, database=conn.schema )

Окууну параллелдөө үчүн Spark JDBC үчүн кайсы параметрлер колдонулду?

CROSS JOIN деген эмне жана анын натыйжасы кандай болот?

Кай жакка өнүгүү кызыктуу болмок: витриналар, өнүктүрүү, аналитика, балким AI?

Middle

СБЕР

-- t1 -- num --------- -- 1 -- 2 2 null null 4 -- t2 -- num --------- -- [телефон] null null 5 Таңдау a.num Кимa a_num, b.num Кимa b_num t1 дан a сол JOIN t2 b ON a.num = b.num;

Middle

СБЕР

Идеал эмес чоң таблицаларды жүктөөдө кандай көрүнбөгөн көйгөйлөр пайда болушу мүмкүн?

Терезе функциясы SUM() OVER (PARTITION BY user_id) — бир учурда сатып алуу датасын ORDER BY кошуп жатабыз, экинчи учурда — кошпойбуз. Эмне айырмасы?

Жалпысынан алганда, Data Vault сизге эмне үчүн керек болчу?

Parquet кандай сактоо түрү бар: саптык же баганалык?

Middle+

Лига Цифровой Экономики

Репликацияны орнотуу тапшырмасы жөнүндө айтып бериңиз, аны сиз чечип калдыңыз.

CREATE TABLE datamarts.daily_revenue_per_country ON CLUSTER cluster_4x2 ( event_date Date, country String, total_revenue Float64 ) ENGINE = MergeTree() PARTITION BY toYYYYMM(event_date) ORDER BY (event_date);

CI/CD процесстері, маалымат базасындагы өзгөрүүлөр, версиялоо жана схеманын миграциялары (схеманын өнүгүшү) жөнүндө мага айтып бер.

Сенин travel тармагына кызыгууну эмне түртөт? Мүмкүн, өзүң саякаттаганды жактырасың, же travel-tech сени кандайдыр бир жол менен кызыктырды.

Тарапташтырылган маалыматтар базалары (Greenplum, ClickHouse) менен иштөө тажрыйбаңыз жөнүндө айтып бере аласызбы?

Postgresтен Data Lakeке чоң таблицанын ийкемдүү (өзгөрүлмө) жаңылоо ылдамдыгы менен туруктуу инкременталдуу жүктөө үчүн чечим сунуштаңыз.