Data Engineer

Чаро шумо коре нави ҷустуҷӯ мекунед?

Дар Spark кадом намудҳои JOIN-и физикӣ мавҷуданд?

Чаро маълумотҳо метавонанд гум шаванд? Баъзе сабабҳоро диҳед.

Middle

Островок

Чаро ҳозир пешниҳодҳои навро баррасӣ мекунӣ?

Дар бораи худ гап занед: таҷриба, вазифаҳо, хусусиятҳо ё дастовардҳое, ки шумо бо онҳо ифтихор мекунед.

Оё таҷрибаи бо FastAPI доред?

Middle

Aston

dict1 = { (1, 2), [3, 4, 5] : 0 } var = 1, 2

Middle

МТС

Дар бораи вазифаи ҷолиб дар ширкат дар 2,5 соли охир, масалан, вобаста ба ClickHouse, нақл кунед.

Дар кадом ҳолат ҷустуҷӯ дар луғат метавонад ба бадтарин ҳолат паст шавад?

Middle

Островок

Чӣ гуна масъалаҳои оптимизатсияро ҳангоми дархост дароз ва иҷрои скан кардани пурра ҳал мекардед? Ба чунин вазифаи нав чӣ гуна муносибат мекардед?

def extract_from_s3(**kwargs): df = pd.read_csv("s3://my-bucket/data/transactions_{}.csv".format(datetime.now().strftime("%Y-%m-%d"))) kwargs["ti"].xcom_push(key="df", value=df.to_dict()) def load_to_raw_table(**kwargs): df = pd.DataFrame(kwargs["ti"].xcom_pull(task_ids="extract", key="df")) rows = [tuple(r) for r in df[["transaction_id", "user_id", "amount", "created_at"]].to_numpy()] CLICKHOUSE_CLIENT.execute( "INSERT INTO raw.transactions (transaction_id, user_id, amount, created_at) VALUES", rows ) def build_aggregate_view(): query = """ INSERT INTO datamarts.daily_revenue_per_country SELECT toDate(r.created_at) as event_date, u.country, sum(r.amount) as total_revenue FROM raw.transactions r LEFT JOIN core.userMetadata u ON r.user_id = u.UserId WHERE toDate(r.created_at) = '{}' GROUP BY event_date, u.country """.format(datetime.now().strftime("%Y-%m-%d")) CLICKHOUSE_CLIENT.execute(query) transactions_sensor = S3KeySensor( task_id="transactions_sensor", bucket_key="data/transactions_{}.csv".format(datetime.now().strftime("%Y-%m-%d")), bucket_name="my-bucket", aws_conn_id="aws_default", timeout=600, poke_interval=30, mode="poke" ) extract = PythonOperator( task_id="extract", python_callable=extract_from_s3, provide_context=True ) load = PythonOperator( task_id="load", python_callable=load_to_raw_table, provide_context=True ) aggregate = PythonOperator( task_id="aggregate", python_callable=build_aggregate_view ) transactions_sensor >> extract >> load >> aggregate

Параметри depends_on_past дар Airflow чӣ мекунад?

Middle

Островок

Барои чӣ ба шумо умумӣ Data Vault лозим буд?

Дар бораи вазифаи танзими репликация, ки шумо ҳал кардаед, нақл кунед.

Омӯзиши усулҳои муқоисаи хеши сабтҳо барои ҳисоб кардани фарқият байни манбаъ ва ҷадвали ҳадаф истифода шуд?

Чӣ мешавад, агар шумо `s ** 2` ба рӯйхати `s = [1, 2, 3]` татбиқ кунед?

Таҳлилҳои ETL ва ELT-ро муқоиса кунед: фарқ дар чист ва кай ҳар яке истифода мешавад?

Чӣ тавр бо 1C кор мекарданд: маълумотҳоро мустақиман аз базаи додаҳо мегирифтанд, ё тавассути шина ё бо роҳи дигар?

Middle+

Лига Цифровой Экономики

Бо кадом базаҳои дода кор кардаед? MongoDB чӣ гуна кор мекунад ва чӣ гуна васеъ мешавад?

Чӣ гуна муайян кардед, ки навишта аллакай мавҷуд аст ва эҳтимолан дубора навиштан лозим нест?

Middle+

Лига Цифровой Экономики