Data Engineer

Hoe evalueer je de configuratie voor het overzetten van een terabyte aan gegevens van PostgreSQL naar ClickHouse?

Welke technologieën heb je gebruikt om gegevens in Parquet te laden, en welke mechanismen werden gebruikt om gegevens te verkrijgen en te laden?

Middle

МВидео

Heb je met vensterfuncties gewerkt? Welke soorten vensterfuncties ken je?

Middle

Aston

Eindresultaat: | customer_id | gap_days | |-------------|----------| | 1 | 123 | | 2 | 120 | met cte als( select order_id, customer_id, order_dt, lag(order_dt) over(partition by customer_id order by order_dt) als prev_order_ft, datediff(dag, prev_order_ft, order_dt) als gap_days van Orders ) selecteer customer_id, max(gap_days) als gap_days van cte waar gap_days > 60 group by customer_id

Middle

Островок

Welke type typecasting wordt gebruikt in Python: statisch of dynamisch?

Middle

МТС

We hebben een tabel met klanten (id, naam, adres, enz.), producten (id, naam, enz.), productbeweging (hier hebben we klant-id, product, datum, hoeveelheid, som), we moeten vinden welke producten op 1 januari zijn verkocht, alleen de unieke, en ook de naam van de koper en... tonen

Middle

СБЕР

In welk team en onder welke leiding voel je je het meest op je gemak om te werken?

Heeft u ervaring met het optimaliseren van Spark-taken? Kunt u een concreet voorbeeld geven?

Middle

Aston

Wat was jouw rol in een team van 4 personen en hoe zie je je carrière over 3-4 jaar, welke doelen stel je?

Middle

МВидео

De opslag is gebouwd volgens het Data Vault-schema — heb je het ook ontwikkeld, onderhouden? Heb je handmatig hubs, links toegevoegd?

Middle

МВидео

Op het weergegeven scherm zijn twee gegevensstructuren; in welke zal het zoeken naar de waarde 2 sneller zijn en waarom?

Hoe begrijp je het concept van sleutels in tabellen — waar is dat voor nodig?

Hoe gegevens van Kafka naar ClickHouse te laden via streaming voor realtime rapportage?

Middle

МВидео

Vertel over de basisconcepten van Kafka (consumer group, partitions, topics).

Hoe maak je in Airflow meerdere identieke taken parallel (bijvoorbeeld het uploaden van veel identieke bestanden)?

Welk werkformaat past bij u: op afstand, hybride of op kantoor?

Kun je het schema van de tabel bekijken voordat je de query in Hive uitvoert?

Middle

Aston

Hoe ziet u uw ontwikkeling in het nieuwe team en met welke taken wilt u het liefst bezig zijn?

Waarvoor worden decorateurs gebruikt in Apache Airflow?

Rapport voor het logistiek bedrijf Je bent een analist bij een logistiek bedrijf dat de operaties in magazijnen bijhoudt. Je moet een rapport opstellen over de efficiëntie van elk magazijn. Voor elk magazijn bereken je: • het totale aantal operaties (count_operations); • het totale aantal verwerkte goederen in het magazijn (sum_quantity); • de gemiddelde verwerkingstijd van een operatie (avg_processing_time), rekening houdend met alleen operaties met een gespecificeerde tijd (niet NULL), afgerond op het dichtstbijzijnde gehele getal; • het maximale en minimale aantal goederen verwerkt in één operatie (max_quantity, min_quantity); • het aantal operaties van elk type («levering», «verzending», «verplaatsing») in aparte kolommen: supply_operations, shipment_operations, transfer_operations. Filter magazijnen waarvan het totale aantal operaties meer dan 2 is en de gemiddelde verwerkingstijd niet meer dan 60 minuten. Sorteer het resultaat op magazijn-ID in oplopende volgorde. Invoerformaat Tabel operaties: • operation_id (int) — unieke identificatie van de operatie • warehouse_id (int) — magazijn-ID • operation_type (text) — type operatie: «levering», «verzending», «verplaatsing»