Data Engineer

Wat betekent UNBOUNDED PRECEDING in de grenzen van een vensterfunctie?

Hoe hebt u met de bestanden gewerkt bij het opnieuw starten van de DAG na een crash, om te voorkomen dat onvolledige gegevens in S3 worden overschreven?

Wat is een broadcast join in Spark?

Middle

Aston

Heb je gewerkt met incrementele en volledige ladingen? Hoe ging je om met duplicaten?

Middle

Aston

Hoe een tabel in ClickHouse bij te werken zodat gebruikers niets merken (atomair vervangen)?

Welke fysieke JOINs ken je?

Middle

СБЕР

Welke soorten JOIN ken je? Vertel 2-3 belangrijkste.

Noem de volgorde van uitvoering van operaties in een SQL-query met SELECT, FROM, WHERE, GROUP BY, HAVING, ORDER BY, LIMIT van de eerste tot de laatste.

Je noemde de Docker-processen, kun je meer vertellen over hoe dat bij jullie geregeld is?

Welke ervaring heb je met SQL en relationele databases?

Ontwerpvraagstuk voor microservices-architectuur: hoe gegevens leveren voor de bestellijst (producten, prijzen, bestellingen) in de frontend bij drie aparte microservices?

Waarom zoek je een nieuwe baan en wat zou je in de toekomst willen doen?

Vertel eens over jouw begrip van datakwaliteit — heb je ervaring met dit vakgebied?

Middle

СБЕР

Hoe voorkom je dat ongeveer 700 DAG-uitvoeringen gelijktijdig worden gestart tijdens catchup/backfill in Airflow?

Middle

Островок

Hoe raadt Git Flow aan om een nieuwe release van de applicatie te formaliseren? - Door een nieuwe issue-branch te maken - Door een hotfix-branch vanaf master te maken - Door een aparte release-branch vanaf develop te maken - Door direct te committen op de master-branch - Door de master-branch rechtstreeks samen te voegen met develop

Op welke velden vond de gegevenssamenvoeging plaats en hoe werden duplicaten in de vitrine verwijderd?

Schrijf een eenvoudige DAG voor Apache Airflow

Verbeteren indexen altijd de prestaties of kunnen ze degradatie veroorzaken?

Hoe voeg je een voortschrijdend gemiddelde toe van de som van bestellingen voor de huidige en de twee voorgaande dagen per gebruiker?

Er zijn twee transacties. Eerst voert de eerste transactie een commando uit. Daarna voert de tweede transactie een commando uit. Vervolgens gaat de eerste transactie verder. Welke volgorde leidt tot een deadlock? ```sql -- eerste transactie update accounts set balance = balance + 100 where id = ?; -- tweede transactie update accounts set balance = balance - 50 where id = ?; update accounts set balance = balance + 200 where id = ?; ```