Data Engineer

Ce este idempotenta în DAG/activitate în Airflow?

Ce motoare de tabele în ClickHouse cunoști și ai folosit?

La ce trebuie să fii atent în privința memoriei, vitezei și corectitudinii la parsarea fișierelor XML mari?

Ce este un DAG în Airflow, din ce este format și cum execută Airflow un DAG?

Produseți o listă de rezervări costisitoare Întrebare Cum puteți produce o listă de rezervări în ziua de [telefon] care vor costa membrul (sau oaspetele) mai mult de 30 $? Amintiți-vă că oaspeții au costuri diferite față de membri (costurile listate sunt pe fiecare jumătate de oră 'slot'), iar utilizatorul oaspete este întotdeauna ID 0. Includeți în ieșirea dvs. numele facilității, numele membrului formatat ca o singură coloană și costul. Ordonați după cost descrescător și nu utilizați subinterogări.

Cât de avansate sunt cunoștințele tale despre Python, ce biblioteci ai folosit?

Cum se transferă date între sarcini în Airflow?

Ce este o Vizualizare Materializată și în ce constă diferența față de o Vizualizare obișnuită?

Partiționarea bazelor de date: de ce este nevoie, cum funcționează?

Cum se evaluează configurația pentru transferul unui terabyte de date de la PostgreSQL la ClickHouse?

Ce este o CTE (Expresie de Tabelă Comună)?

Cum să citești un fișier de 100 gigabytes în Python?

Cum să vezi parametrii sau restricțiile în ClickHouse?

Ce este normalizarea și denormalizarea, când sunt necesare?

Ce face OPTIMIZE în ClickHouse și de ce nu trebuie să fie rulat fără gândire?

Povestește despre experiența ta în X5: cu ce te-ai ocupat în domeniul DWH?

Care sunt tipurile de JOIN în SQL (logice și fizice)?

Când este potrivit ThreadPoolExecutor?

Cum să reduci consumul de memorie al DataFrame-ului în Pandas?

Ce trebuie verificat dacă jurnalele nu se deschid (eroare 403)?