Data Engineer

Waar moet je op letten qua geheugen, snelheid en nauwkeurigheid bij het parseren van grote XML-bestanden?

Hoe werkt compressie in ClickHouse?

Welke tabelmotoren in ClickHouse ken je en heb je gebruikt?

Maak een lijst van dure boekingen Vraag Hoe kun je een lijst maken van boekingen op de dag van [telefoon] die de kosten voor de lid (of gast) meer dan $30 laten bedragen? Onthoud dat gasten verschillende kosten hebben dan leden (de vermelde kosten zijn per halfuur 'slot'), en dat de gastgebruiker altijd ID 0 is. Voeg in je output de naam van de faciliteit, de naam van het lid geformatteerd als één kolom, en de kosten toe. Sorteer op aflopende kosten, en gebruik geen subqueries.

Wat is een Gematerialiseerde Weergave en hoe verschilt deze van een gewone Weergave?

Wat is een CTE (Common Table Expression)?

Hoe diepgaande kennis heb je van Python, welke bibliotheken heb je gebruikt?

Wat is een DAG in Airflow, waaruit bestaat het en hoe voert Airflow een DAG uit?

Hoe gegevens tussen taken in Airflow overdragen?

Hoe evalueer je de configuratie voor het overzetten van een terabyte aan gegevens van PostgreSQL naar ClickHouse?

Partitionering in databases: waarom is het nodig, hoe werkt het?

Hoe bekijk je de parameters of beperkingen in ClickHouse?

Hoe lees je een bestand van 100 gigabyte in Python?

Welke JOIN-typen zijn er in SQL (logisch en fysiek)?

Wat is normalisatie en denormalisatie, wanneer zijn ze nodig?

Vertel over je ervaring bij X5: wat heb je gedaan op het gebied van DWH?

Wat doet OPTIMIZE in ClickHouse en waarom mag het niet zonder nadenken worden uitgevoerd?

Wanneer is ThreadPoolExecutor geschikt?

Hoe vermindert u het geheugenverbruik van de DataFrame in Pandas?

Wat moet er worden gecontroleerd als de logs niet openen (fout 403)?