Data Engineer

Реците о себи: искуство, задаци, функције или достигнућа на која сте поносни.

Имате ли искуство са FastAPI?

Middle

Aston

Колико укупно радио са Spark-ом и колико дубоко сте се у њега укључили?

dict1 = { (1, 2), [3, 4, 5] : 0 } var = 1, 2

Middle

МТС

Ispričaj o zanimljivom zadatku u kompaniji u poslednje 2,5 godine, na primer vezanom za ClickHouse.

U kojoj situaciji pretraživanje u rečniku može degradirati do najgoreg slučaja?

Middle

Островок

Kako ste rešavali probleme optimizacije kada zahtev traje dugo i vrši puni sken? Kako biste pristupili novom takvom zadatku?

Kako dodati pomični prosek sume narudžbina za tekući i prethodna dva dana po korisniku?

def extract_from_s3(**kwargs): df = pd.read_csv("s3://my-bucket/data/transactions_{}.csv".format(datetime.now().strftime("%Y-%m-%d"))) kwargs["ti"].xcom_push(key="df", value=df.to_dict()) def load_to_raw_table(**kwargs): df = pd.DataFrame(kwargs["ti"].xcom_pull(task_ids="extract", key="df")) rows = [tuple(r) for r in df[["transaction_id", "user_id", "amount", "created_at"]].to_numpy()] CLICKHOUSE_CLIENT.execute( "INSERT INTO raw.transactions (transaction_id, user_id, amount, created_at) VALUES", rows ) def build_aggregate_view(): query = """ INSERT INTO datamarts.daily_revenue_per_country SELECT toDate(r.created_at) as event_date, u.country, sum(r.amount) as total_revenue FROM raw.transactions r LEFT JOIN core.userMetadata u ON r.user_id = u.UserId WHERE toDate(r.created_at) = '{}' GROUP BY event_date, u.country """.format(datetime.now().strftime("%Y-%m-%d")) CLICKHOUSE_CLIENT.execute(query) transactions_sensor = S3KeySensor( task_id="transactions_sensor", bucket_key="data/transactions_{}.csv".format(datetime.now().strftime("%Y-%m-%d")), bucket_name="my-bucket", aws_conn_id="aws_default", timeout=600, poke_interval=30, mode="poke" ) extract = PythonOperator( task_id="extract", python_callable=extract_from_s3, provide_context=True ) load = PythonOperator( task_id="load", python_callable=load_to_raw_table, provide_context=True ) aggregate = PythonOperator( task_id="aggregate", python_callable=build_aggregate_view ) transactions_sensor >> extract >> load >> aggregate

Šta radi parametar depends_on_past u Airflow-u?

Middle

Островок

Zašto vam je uopšte bio potreban Data Vault?

Ispričajte o zadatku podešavanja replikacije koji ste rešili.

Da li je metoda poređenja heševa zapisa korišćena za izračunavanje razlike između izvora i ciljne tabele?

Šta se dešavalo kada se aktiviralo ograničenje kvaliteta podataka: upozorenje, pad, ponovni pokretanje?

Middle+

Лига Цифровой Экономики

Uporedite pristupe ETL i ELT: u čemu je razlika i kada se svaki od njih primenjuje?

Kako su radili sa 1C: preuzimali su podatke direktno iz baze podataka, putem šine ili na drugi način?

Middle+

Лига Цифровой Экономики

Са којим базама података сте радили? Како функционише MongoDB и како се скалира?

Kako ste odredili da zapis već postoji i da ga nije potrebno ponovo zapisivati?

Middle+

Лига Цифровой Экономики

NULL plus 5 — колико ће бити?

Da li je moguće čitati podatke paralelno iz jednog Parquet fajla u Spark-u, ili samo jednim jezgrom u jednoj zadaci?