Data Engineer

Kas yra SQL injekcija?

Kas yra VACUUM PostgreSQL? Kam jis reikalingas?

Kaip išspręsti užduotį linijiniu laiku O(n), naudojant žodyną? Ką reikia saugoti žodyne, kad vėliau sudarytume surūšiuotą eilutę? Kaip apdoroti simbolius, kurie nėra tvarkoje?

„Botų srauto dalis Antifraud komanda sukūrė mechanizmą, skirtą aptikti botų srautą parduotuvės svetainėje: kai botas įeina į svetainę, į jo URL parametrus pridedama subeilutė "bot" (neatsižvelgiant į didžiąsias ir mažąsias raides). Jei user_id buvo bent kartą nustatytas kaip botas gruodžio mėnesį, jis visada turi būti laikomas botu. Tyrinėkite naudotojų apsilankymų duomenų rinkinį svetainėje ir apskaičiuokite botų dalį pagal bendrą naudotojų skaičių 2024 m. gruodį (suapvalinkite iki vieno skaitmens po kablelio). Įvesties formatas Lentelė visits: - event_date (date) — apsilankymo data - user_id (int) — unikalus naudotojo identifikatorius - url (string) — nuoroda, per kurią įvykdytas apsilankymas Duomenys neapima trūkstamų ar klaidingų reikšmių. Išvesties formatas Užklausa turi grąžinti lentelę su laukais: - share (float) — botų dalis pagal bendrą naudotojų skaičių gruodį, suapvalinta iki vieno skaitmens po kablelio.

Aprašykite SQL užklausų optimizavimo metodus, kuriuos taikėte. Kaip sutrumpinote vykdymo laiką nuo 12-15 sekundžių?

Middle

Купер

Paaiškinkite, kaip techniškai veikia Git LFS ir kokias pranašumus jis suteikia, palyginti su standartiniu Git, dirbant su dideliais failais.

Ką darote, kai susiduriate su problemomis gamybos linijoje?

Ką žūsta duomenų bazė greito duomenų įkėlimo metu (COPY Postgres, BULK INSERT)?

Kas yra DAG Airflow'e, iš ko jis sudarytas ir kaip Airflow vykdo DAG?

Kokios jūsų atlyginimo lūkesčiai?

Kokias problemas gali nustatyti sekimas?

Kas yra idempotentiškumas DAG/u/užduotyje Airflow?

Parašykite DAG duomenų įkėlimui per REST API

Kaip veikia suspaudimas ClickHouse?

Papaskink apie saugyklos architektūrą: kaip ji buvo padalinta į sluoksnius, kokios yra kiekvieno sluoksnio savybės?

Kokio tipo daugiau priklauso Greenplum — OLTP ar OLAP?

Middle

МВидео

Kaip atkurti darbą iš nuotolinės šakos, jei bandydami `git checkout hotfix/missing-footer` gaunate klaidos pranešimą, kad šaka nerasta?

Kaip gali įvykti SQL injekcija per datos įvedimo lauką?

Tai yra realiu laiku, kaip tai įgyvendinti tarp Kafka ir ClickHouse Spark?

Middle

МВидео

Kas yra YARN ir kam jis reikalingas?

Middle

Aston