Sobes.tech

Data Engineer

Zadanie #3 Należy znaleźć klientów, u których przerwa między zamówieniami jest większa niż 60 dni. Dla tych klientów wyświetlić maksymalną przerwę (gap_days). Tabela zamówień: | order_id | customer_id | order_dt | |----------|-------------|------------| | 1 | 1 | [phone] | | 2 | 1 | [phone] | | 3 | 1 | [phone] | | 4 | 1 | [phone] | | 5 | 2 | [phone] | | 6 | 2 | [phone] | | 7 | 3 | [phone] | Ostateczny wynik: | customer_id | gap_days | |-------------|----------| | 1 | 123 | | 2 | 120 |

166

Jaka jest różnica między repartition a coalesce w Spark?

164

Czy pracowałeś z menedżerami kontekstu w Pythonie? Czym są i do czego służą?

153

Jak opisałbyś w kodzie sprawdzenie, czy wartość znacznie różni się od normalnego (oczekiwanego) rozkładu?

153

Dlaczego dane mogą zostać utracone? Podaj kilka przyczyn.

151

Jak uniemożliwić, aby nieprawidłowe dane załadowane do witryny lub tabeli pośredniej trafiły do wyższych pipeline'ów?

151

Jakie metody przesyłania danych między zadaniami Airflow znasz?

145

Jeśli harmonogram DAG to @daily, o której godzinie jest on faktycznie uruchamiany?

143

Czy słownik w Pythonie jest typem zmiennym czy niezmiennym? Jakie są wymagania dotyczące jego kluczy i wartości?

141

Jaka jest złożoność algorytmiczna wyszukiwania w słowniku w najgorszym przypadku?

132

Jak uruchomić drugi DAG Airflow zaraz po pomyślnym zakończeniu pierwszego?

131
/2