Data Engineer

Барои чӣ ба шумо умумӣ Data Vault лозим буд?

Дар экрани нишон додашуда ду сохтори маълумот мавҷуд аст; дар кадом яке аз онҳо ҷустуҷӯи арзиши 2 тезтар хоҳад буд ва чаро?

Оё таҷрибаи кор бо Table Engine Join дар ClickHouse доред?

Чӣ гуна арзёбӣ кардани конфигуратсия барои интиқоли як теробайт маълумот аз PostgreSQL ба ClickHouse?

RDD дар Apache Spark чист ва чӣ гуна аз дигар абстраксияҳои Spark фарқ мекунад?

Кадом гурӯҳи операторҳои SQL медонӣ? Ба кадомҳо тааллуқ доранд?

Middle

СБЕР

from interview.utils import get_clickhouse_client from airflow import DAG from airflow.operators.python import PythonOperator from airflow.sensors.external_task import ExternalTaskSensor from datetime import datetime import pandas as pd import clickhouse_driver import os CLICKHOUSE_CLIENT = get_clickhouse_client() default_args = { "start_date": datetime(2024, 1, 1) } with DAG( dag_id="datamarts.daily_revenue_per_country", default_args=default_args, schedule_interval="@daily", catchup=False ) as dag: transactions_sensor = S3KeySensor( task_id="transactions_sensor", bucket_key="data/transactions_{}.csv".format(datetime.now().strftime("%Y-%m-%d")), bucket_name="my-bucket", aws_conn_id="aws_default", timeout=600, poke_interval=30, mode="poke" ) def extract_from_s3(**kwargs): df = pd.read_csv("s3://my-bucket/data/transactions_{}.csv".format(datetime.now().strftime("%Y-%m-%d"))) kwargs["ti"].xcom_push(key="df", value=df.to_dict()) def load_to_raw_table(**kwargs): df = pd.DataFrame(kwargs["ti"].xcom_pull(task_ids="extract", key="df")) rows = [tuple(r) for r in df[["transaction_id", "user_id", "amount", "created_at"]].to_numpy()] CLICKHOUSE_CLIENT.execute( ... )

Нәтиҗә: | customer_id | gap_days | |-------------|----------| | 1 | 123 | | 2 | 120 | with cte as( select order_id, customer_id, order_dt, lag(order_dt) over(partition by customer_id order by order_dt) as prev_order_ft, datediff(day, prev_order_ft, order_dt) as gap_days from Orders ) select customer_id, max(gap_days) as gap_days from cte where gap_days > 60 group by customer_id

Middle

Островок

Кадом навъи типгузорӣ дар Python истифода мешавад: статикӣ ё динамикӣ?

Middle

МТС

Чӣ гуна ташкил кардан мумкин аст, ки як паёми Kafka-ро чанд истеъмолкунандагони гуногун хонанд (fan-out)?

Дар кадом даста ва зери кадом роҳбарӣ шумо бештар бароҳат ҳастед?

Роли шумо дар гурӯҳи 4 нафарӣ чӣ буд ва шумо чӣ гуна карераи худро дар 3-4 сол мебинед, кадом ҳадафҳоро муайян мекунед?

Middle

МВидео

Чӣ гуна маълумотҳоро аз Kafka ба ClickHouse тавассути streaming барои ҳисоботи дар вақти воқеӣ бор кардан мумкин аст?

Middle

МВидео

Таърихи муҳоҷират аз Spring Boot 2 ба Spring Boot 3-ро нақл кунед

Чӣ тавр JSON-ро дар папка сабт кардан (дар контексти Airflow DAG)

Чӣ гуна дар Airflow бисёр вазифаҳои якхела дар як вақт эҷод кардан мумкин аст (масалан, боргирии бисёр файлҳои якхела)?

Дар кадом ҳолатҳо нормализатсия истифода мешавад ва дар кадом ҳолатҳо денормализатсия?

Кадом технологияи истифода бурда шуд барои бор кардани маълумотҳо ба Parquet ва кадом механизмҳо барои гирифтани ва бор кардани маълумотҳо истифода шуданд?

Middle

МВидео

Семантики версиягиро чӣ аст? Вақте ки major, minor, patch-ро зиёд кардан лозим аст?

Оё шумо бо функсияҳои тиреза кор кардаед? Кадом намудҳои функсияҳои тирезаро медонед?

Middle

Aston