Data Engineer
Wat is een SQL-injectie?
Wat is VACUUM in PostgreSQL? Waarvoor is het nodig?
Hoe los je een probleem op in lineaire tijd O(n) met behulp van een woordenboek? Wat moet er in het woordenboek worden opgeslagen om later een gesorteerde string te maken? Hoe ga je om met tekens die niet in de volgorde staan?
Deel van botverkeer Het anti-fraude team heeft een mechanisme ontwikkeld om botverkeer op de winkelwebsite te detecteren: wanneer een bot de site betreedt, wordt de substring "bot" (zonder onderscheid tussen hoofd- en kleine letters) toegevoegd aan de URL-parameters. Als de user_id in december minstens één keer als bot is geïdentificeerd, moet deze altijd als bot worden beschouwd. Bestudeer de dataset met gebruikersbezoeken aan de site en bereken het aandeel van bots ten opzichte van het totale aantal gebruikers in december 2024 (afronden op één decimaal). Invoerformaat Tabel visits: - event_date (date) — datum van het bezoek - user_id (int) — unieke identificatie van de gebruiker - url (string) — link waarop het bezoek is gedaan De gegevens bevatten geen ontbrekende of onjuiste waarden. Uitvoerformaat De query moet een tabel retourneren met de velden: - share (float) — aandeel van bots ten opzichte van het totale aantal gebruikers in december, afgerond op één decimaal.
Beschrijf de methoden voor het optimaliseren van SQL-query's die u hebt toegepast. Hoe hebt u de uitvoeringstijd van 12-15 seconden verkort?
КуперLeg uit hoe Git LFS technisch werkt en welke voordelen het biedt ten opzichte van standaard Git bij het werken met grote bestanden.
Wat doe je als je een probleem in de productie-pijplijn tegenkomt?
Waarop offert de database bij het snel laden van gegevens (COPY in Postgres, BULK INSERT)?
Wat is een DAG in Airflow, waaruit bestaat het en hoe voert Airflow een DAG uit?
Wat zijn uw salarisverwachtingen?
Welke problemen kan traceerbaarheid opsporen?
Wat is idempotentie in DAG/taken in Airflow?
Schrijf een DAG voor het laden van gegevens via REST API
Hoe werkt compressie in ClickHouse?
Vertel me over de architectuur van de opslag: hoe was het verdeeld in lagen, wat zijn de kenmerken van elke laag?
Tot welk type behoort Greenplum meer — OLTP of OLAP?
МВидеоHoe herstel je werk van een remote branch als je bij het proberen `git checkout hotfix/missing-footer` een foutmelding krijgt dat de branch niet gevonden is?
Hoe kan een SQL-injectie via het datuminvoerveld plaatsvinden?
Dit is in realtime, hoe implementeer je dit tussen Kafka en ClickHouse Spark?
МВидеоWat is YARN en waar wordt het voor gebruikt?
Aston