Czym jest zestaw oczekiwań?

Expectation suite — to zbiór reguł lub oczekiwań, które określają wymagania dotyczące jakości danych w kontekście Data Quality i Data Validation.

Zazwyczaj expectation suite obejmuje wiele pojedynczych oczekiwań, na przykład:

• Sprawdzenie, czy wartości w kolumnie nie są puste
• Sprawdzenie, czy wartości mieszczą się w określonym zakresie
• Sprawdzenie unikalności wartości
• Sprawdzenie zgodności z formatem (np. email)

Expectation suite jest używany do automatycznego sprawdzania, czy dane spełniają te reguły, co pomaga wykrywać błędy, anomalie i utrzymywać jakość danych na wymaganym poziomie.

Przykład użycia w bibliotece Great Expectations (Python):

import great_expectations as ge

df = ge.from_pandas_moj_dataframe
df.expect_column_values_to_not_be_null('wiek')
df.expect_column_values_to_be_between('wynagrodzenie', min_value=30000, max_value=200000)

wyniki = df.validate()

Dlatego expectation suite to uporządkowany zestaw kontroli, który pomaga systematycznie monitorować jakość danych.