Data Engineer

Ce este o injecție SQL?

Ce este VACUUM în PostgreSQL? La ce folosește?

Cum să rezolvi o problemă în timp liniar O(n) folosind un dicționar? Ce trebuie să stocăm în dicționar pentru a construi apoi un șir sortat? Cum să tratezi caracterele care nu sunt în ordine?

Proporția traficului de boturi Echipa antifraudă a dezvoltat un mecanism pentru detectarea traficului de boturi pe site-ul magazinului: atunci când un bot accesează site-ul, se adaugă subșirul "bot" (fără a ține cont de majuscule/minuscule) la parametrii URL-ului său. Dacă user_id a fost identificat ca bot cel puțin o dată în decembrie, trebuie considerat întotdeauna ca bot. Studiați setul de date cu vizitele utilizatorilor pe site și calculați proporția de boturi din numărul total de utilizatori în decembrie 2024 (rotunjind la o zecimală). Formatul de intrare Tabelul visits: - event_date (date) — data vizitei - user_id (int) — identificator unic al utilizatorului - url (string) — link-ul prin care s-a făcut vizita Datele nu conțin valori lipsă sau incorecte. Formatul de ieșire Interogarea trebuie să returneze un tabel cu câmpurile: - share (float) — proporția de boturi din numărul total de utilizatori în decembrie, rotunjită la o zecimală.

Descrie metodele de optimizare a interogărilor SQL pe care le-ai aplicat. Cum ai redus timpul de execuție de la 12-15 secunde?

Middle

Купер

Explicați cum funcționează tehnic Git LFS și ce avantaje oferă în comparație cu Git standard atunci când lucrați cu fișiere mari.

Ce faceți când întâmpinați o problemă în pipeline-ul de producție?

Ce sacrifică baza de date în timpul încărcării rapide a datelor (COPY în Postgres, BULK INSERT)?

Ce este un DAG în Airflow, din ce este format și cum execută Airflow un DAG?

Care sunt așteptările dvs. salariale?

Ce probleme poate identifica urmărirea?

Ce este idempotenta în DAG/activitate în Airflow?

Scrieți un DAG pentru încărcarea datelor prin REST API

Cum funcționează compresia în ClickHouse?

Vorbește-mi despre arhitectura stocării: cum a fost împărțită în straturi, care sunt caracteristicile fiecărui strat?

Greenplum aparține mai mult tipului OLTP sau OLAP?

Middle

МВидео

Cum se recuperează munca dintr-o ramură remote dacă la încercarea de a face `git checkout hotfix/missing-footer` primești un mesaj de eroare spunând că ramura nu a fost găsită?

Cum poate apărea o injecție SQL prin câmpul de introducere a datei?

Este în timp real, cum se implementează între Kafka și ClickHouse Spark?

Middle

МВидео

Ce este YARN și la ce folosește?

Middle

Aston