Data Engineer

Czym jest Hive i czym różni się od tradycyjnych relacyjnych baz danych?

Middle

Aston

WYBIERZ * Z tabeli1 JAK t1 LEWY JOIN tabeli2 JAK t2 NA t1.date_start > t2.date_start --DML UTWÓRZ TABELĘ JEŚLI NIE ISTNIEJE Employee (id int, salary int, departmentId int); WSTAW DO Employee (id,salary,departmentId) WARTOŚCI (1, 70000, 1),(2, 94000, 1),(3, 85000, 1),(4, 80000, 2),(5, 60000, 2),(6, 62000, 3),(7, 90000, 3),(8, 94000, 3),(9, 94000, 3); z cte jako( wybierz *, rank() over(partition by departmentId order by salary desc) jako max_salary z Employee ) wybierz * z cte gdzie max_salary = 1

Jakie znasz fizyczne JOINy?

Middle

СБЕР

Jak uniknąć jednoczesnego uruchomienia około 700 uruchomień DAG podczas catchup/backfill w Airflow?

Middle

Островок

Jakie silniki tabel w ClickHouse znasz i używałeś?

[imię] zapytał: Które kolumny powinny być Nullable i jak to określić w DDL?

Opowiedz o Greenplum — formatach przechowywania danych, przechowywaniu wierszowym i kolumnowym.

Opowiedz, co lubisz robić w wolnym czasie oprócz kodowania – jakie masz hobby?

LEFT JOIN: tabela z 10 rekordami LEFT JOIN tabela z 100 rekordami. Jaka jest minimalna i maksymalna liczba wierszy, które można uzyskać?

Czym jest statystyka w kontekście systemów zarządzania bazami danych i optymalizacji zapytań?

Po jakich polach dystrybuowałeś dane w Greenplum?

Middle

Альфа-Банк

-- Znaleźć wszystkich pasażerów, którzy odbyli podróże dwa lub więcej dni z rzędu

Kiedy budowałeś pipeline'y na Airflow, jak rozwiązywałeś problem junk data (nieprawidłowe/niepotrzebne dane)?

Middle

Альфа-Банк

Jak działa JOIN w ClickHouse?

Czym różni się RANK od DENSE_RANK?

Middle

Aston

Jakimi rodzajami dystrybucji się posługiwałeś? Jak wybierałeś klucz dystrybucji?

Jak ORDER BY wpływa na tabelę ClickHouse i które klucze są lepsze do wyboru?

Raport dla firmy logistycznej Jesteś analitykiem w firmie logistycznej, która prowadzi rejestr operacji w magazynach. Musisz przygotować raport dotyczący efektywności każdego magazynu. Dla każdego magazynu oblicz: • łączną liczbę operacji (count_operations); • łączną liczbę przetworzonych towarów w magazynie (sum_quantity); • średni czas przetwarzania operacji (avg_processing_time), uwzględniając tylko operacje z określonym czasem (nie NULL), zaokrąglony do najbliższej liczby całkowitej; • maksymalną i minimalną liczbę towarów przetworzonych w jednej operacji (max_quantity, min_quantity); • liczbę operacji każdego typu («dostawa», «wysyłka», «transfer») w osobnych kolumnach: supply_operations, shipment_operations, transfer_operations. Filtruj magazyny, dla których łączna liczba operacji jest większa niż 2, a średni czas przetwarzania nie przekracza 60 minut. Posortuj wynik według ID magazynu rosnąco. Format wejścia Tabela operations: • operation_id (int) — unikalny identyfikator operacji • warehouse_id (int) — ID magazynu • operation_type (text) — typ operacji: «dostawa», «wysyłka», «transfer» • quantity (int) — liczba jednostek towaru w operacji • operation_date (timestamp) — data i czas operacji • processing_time (int) — czas przetwarzania operacji Kolumna processing_time może zawierać wartości NULL. Format wyjścia Zapytanie powinno zwrócić tabelę z polami w takiej kolejności: • warehouse_id (int) — unikalny identyfikator magazynu • count_operations (int) — łączna liczba operacji wykonanych w magazynie • sum_quantity (int) — łączna liczba przetworzonych towarów w magazynie • avg_processing_time (numeric) — średni czas przetwarzania operacji (w minutach), uwzględniając tylko operacje z nie NULL czasem, zaokrąglony do najbliższej liczby całkowitej • max_quantity (int) — maksymalna liczba towarów przetworzonych w jednej operacji • min_quantity (int) — minimalna liczba towarów przetworzonych w jednej operacji • supply_operations (int) — liczba operacji typu «dostawa» • shipment_operations (int) — liczba operacji typu «wysyłka» • transfer_operations (int) — liczba operacji typu «transfer»

[imię] opowiedział o swoim doświadczeniu z różnymi systemami zarządzania bazami danych, jak głęboko musiał zagłębiać się w optymalizację i szczegóły wewnętrzne.

Co zostanie przechwycone jako wynik, jeśli połączysz transakcje z klientami według client_id i date_start (bez BETWEEN)?

Middle

СБЕР