Jakie rodzaje fizycznego łączenia tabel istnieją (Hash Join, Merge Join, Nested Loop)?
Data Engineer
Co zostanie przechwycone jako wynik, jeśli połączysz transakcje z klientami według client_id i date_start (bez BETWEEN)?
Na jaką pensję liczysz?
Czy można odczytywać dane równolegle z jednego pliku Parquet w Spark, czy tylko jednym rdzeniem w jednym zadaniu?
Opowiedz o kilku swoich najważniejszych zadaniach związanych z jakością danych.
Czym jest CROSS JOIN? Czy pracowałeś z tym?
Opowiedz o sobie — doświadczenie zawodowe, stos technologiczny
Jakie typy JOIN znasz? (logiczne)
Jakie znasz fizyczne JOINy?
Opowiedz o swoim rozumieniu jakości danych — czy masz doświadczenie w pracy w tym obszarze?
Jakie są zalety i wady baz danych wierszowych i kolumnowych? Które są bardziej wydajne do grupowania i agregacji?
-- Dana tabela numbers z jedną kolumną num (liczby całkowite, mogą się powtarzać). -- Napisz zapytanie SQL, które podzieli liczby na dwie kolumny: -- even – liczby parzyste (posortowane rosnąco) -- odd – liczby nieparzyste (posortowane rosnąco) -- Liczby powinny być ułożone wiersz po wierszu: w pierwszym wierszu – pierwsza liczba parzysta i pierwsza nieparzysta, -- w drugim wierszu – druga liczba parzysta i druga nieparzysta itd. -- Jeśli w jednej grupie jest więcej liczb niż w drugiej, brakujące miejsca powinny być NULL. -- tabela źródłowa -- num -- --------- -- [phone] -- wynik zapytania -- even | odd -- -----|----- -- 2 | 1 -- 4 | 3 -- 6 | 5 -- 8 | 7 -- 10 | 9 -- NULL | 11 -- NULL | 11
Istnieje tabela T1 (10 wierszy) i tabela T2 (5 wierszy), obie z polem ID. Ile wierszy może maksymalnie i minimalnie być na wyjściu przy INNER JOIN i LEFT JOIN tych tabel?
Czym jest LEFT SEMI JOIN i LEFT ANTI JOIN w Spark SQL, czy miałeś kiedyś okazję ich używać?
Jeśli na executorze jest 10 rdzeni, ile zadań będzie wykonywać się równocześnie w jednym momencie?
Opisz funkcje okien w jak najbardziej rozbudowanej formie: jakie słowa kluczowe są używane i za co odpowiada każde z nich.
Czy pracowałeś z witrynami danych (warstwa DWH)?
-- t1 -- num --------- -- 1 -- 2 2 null null 4 -- t2 -- num --------- -- [telefon] null null 5 WYBIERZ a.num JAKO a_num, b.num JAKO b_num Z t1 a LEWE POŁĄCZENIE t2 b ON a.num = b.num;
Co zwróci funkcja find_mode dla listy [1, 2, 3, 3, 4, 5]? Wyjaśnij krok po kroku.
Jak działa złączenie Nested Loop i jaka jest jego złożoność algorytmiczna? Jaka jest złożoność wszystkich trzech algorytmów?