Data Engineer
Čo je SQL injekcia?
Čo je VACUUM v PostgreSQL? Na čo slúži?
Ako rešiti nalogo v linearnem času O(n) z uporabo slovarja? Kaj je treba shraniti v slovarju, da kasneje sestavimo sortirano vrstico? Kako obdelati znake, ki niso v vrstnem redu?
Podiel botovského prenosu Tím na boj proti podvodom vyvinul mechanizmus na detekciu botovského prenosu na stránke obchodu: keď bot vstúpi na stránku, do parametrov jeho URL sa pridá podreťazec "bot" (bez rozlíšenia veľkých a malých písmen). Ak bol user_id aspoň raz v decembri identifikovaný ako bot, mal by byť vždy považovaný za bot. Preskúmajte súbor údajov o návštevách používateľov na stránke a vypočítajte podiel botov z celkového počtu používateľov v decembri 2024 (zaokrúhlite na jedno desatinné miesto). Formát vstupu Tabuľka visits: - event_date (date) — dátum návštevy - user_id (int) — jedinečný identifikátor používateľa - url (string) — odkaz, cez ktorý bola návšteva vykonaná Dáta neobsahujú chýbajúce alebo nesprávne hodnoty. Formát výstupu Dopyt by mal vrátiť tabuľku s poliami: - share (float) — podiel botov z celkového počtu používateľov v decembri, zaokrúhlený na jedno desatinné miesto.
Opíšte metódy optimalizácie SQL dopytov, ktoré ste použili. Ako ste skrátili čas vykonávania z 12-15 sekúnd?
КуперVysvetlite, ako technicky funguje Git LFS a aké výhody prináša v porovnaní so štandardným Gitom pri práci s veľkými súbormi.
Čo robíte, keď narazíte na problém v produkčnom pipe?
Čím obetuje databáza pri rýchlom načítaní údajov (COPY v Postgres, BULK INSERT)?
Čo je DAG v Airflow, z čoho pozostáva a ako Airflow vykonáva DAG?
Aké sú vaše očakávania ohľadom platu?
Aké problémy môže odhaliť sledovanie?
Čo je to idempotentnosť v DAG/úlohe v Airflow?
Napíšte DAG na načítanie údajov cez REST API
Ako funguje kompresia v ClickHouse?
Povedaj mi o arhitekturi úložiska: ako bolo rozdelené na vrstvy, aké sú vlastnosti každej vrstvy?
Greenplum viac patrí k typu OLTP alebo OLAP?
МВидеоAko obnoviť prácu z vzdialenej vetvy, ak pri pokuse o `git checkout hotfix/missing-footer` dostanete chybové hlásenie, že vetva nebola nájdená?
Ako môže dôjsť k SQL injekcii cez pole na zadanie dátumu?
Ide o v reálnom čase, ako to realizovať medzi Kafka a ClickHouse Spark?
МВидеоČo je YARN a na čo slúži?
Aston