Data Engineer

Volt-e esetleg kapcsolat relációs adatbázisokkal?

Mondja el az Oracle partícionálásáról: mire használják és milyen típusai vannak?

Middle

Aston

[név] kérdezte: A 'találtak repülőjáratokat' mező csak két értéket tartalmaz (igen/nem). Hogyan érdemes legjobban ábrázolni ezt a ClickHouse-ban? Milyen adattípust használ belül a Bool?

Dolgoztál már ablakfüggvényekkel? Milyen típusú ablakfüggvényeket ismersz?

Middle

Aston

Hogyan szervezed a projektjeidet? Írsz README-t vagy valami mást?

Kafka-val semmi sem nehéz, a lényeg az adatok feldolgozása — milyen részletekre kell figyelni?

Middle

МВидео

Milyen esetekben használjunk B-tree és hash indexeket a PostgreSQL-ben?

Egy speciális szekvencia lett létrehozva, mely neve even_sequence, és csak páros számokat generál. Mit kell beírni [...]-be, hogy ha az even_column értékét nem adták meg beszúráskor, akkor az érték az even_sequence-ből származzon? create table some_table( even_column [...] ); integer computed as nextval('even_sequence') integer generated always as identity (start with 2 increment by 2) integer default nextval('even_sequence') integer unique default nextval('even_sequence') integer generated by even_sequence’

interview.utils-dən get_clickhouse_client import edin airflow-dən DAG import edin airflow.operators.python-dən PythonOperator import edin airflow.sensors.external_task-dən ExternalTaskSensor import edin datetime-dən datetime import edin pandas-ı pd kimi import edin clickhouse_driver-ı import edin os-ı import edin CLICKHOUSE_CLIENT = get_clickhouse_client() default_args = { "start_date": datetime(2024, 1, 1) } with DAG( dag_id="datamarts.daily_revenue_per_country", default_args=default_args, schedule_interval="@daily", catchup=False ) as dag: transactions_sensor = S3KeySensor( task_id="transactions_sensor", bucket_key="data/transactions_{}.csv".format(datetime.now().strftime("%Y-%m-%d")), bucket_name="my-bucket", aws_conn_id="aws_default", timeout=600, poke_interval=30, mode="poke" ) def extract_from_s3(**kwargs): df = pd.read_csv("s3://my-bucket/data/transactions_{}.csv".format(datetime.now().strftime("%Y-%m-%d"))) kwargs["ti"].xcom_push(key="df", value=df.to_dict()) def load_to_raw_table(**kwargs): df = pd.DataFrame(kwargs["ti"].xcom_pull(task_ids="extract", key="df")) rows = [tuple(r) for r in df[["transaction_id", "user_id", "amount", "created_at"]].to_numpy()] CLICKHOUSE_CLIENT.execute( ... )

Sorolja fel az SQL lekérdezés műveleteinek végrehajtási sorrendjét a SELECT, FROM, WHERE, GROUP BY, HAVING, ORDER BY, LIMIT parancsokkal, az elsőtől az utolsóig.

Hogyan optimalizálták a táblákat és lekérdezéseket: partíciók, indexek, kiválasztási logika?

Middle+

Лига Цифровой Экономики

Mi az a lekérdezési terv? Mire jó?

Említetted a Docker folyamatokat, tudnál részletesebben mesélni arról, hogyan van ez nálatok szervezve?

Milyen jellemzői vannak az XCom használatának az Airflow-ban?

A tárhely a Data Vault séma szerint épült — te is fejlesztetted, karbantartottad? Kézzel adtál hozzá hubokat, linkeket?

Middle

МВидео

Milyen adatminőség-ellenőrzéseket végeztek a Data Vault-ban?

Middle+

Лига Цифровой Экономики

A PostgreSQL-ben tranzakciók teljesítményének optimalizálásához minimális izolációs szintet kell alkalmazni, amelynél: • párhuzamos tranzakciók láthatják egymás befejezetlen változásait; • lehetőség van "szennyezett olvasásokra" (dirty read). Milyen izolációs szintet kell megadni a tranzakcióhoz, hogy elérjük ezt a célt? A dirty read nem lehetséges PostgreSQL-ben repeatable read read uncommitted read committed serializable

Használtál Bridge-t és PIT-táblákat a Data Vault-ban? Adj példát és magyarázd meg a céljukat.

Middle+

Лига Цифровой Экономики

Dolgozott-e FTP-vel fájlok vagy adatok beszerzése érdekében a portálon keresztül?

Middle+

Лига Цифровой Экономики

Hogyan határozza meg a Spark, hogy egy táblázat elég 'kicsi' a broadcast joinhoz (felső határ)?