Ce este o suită de așteptări?

Expectation suite — este un set de reguli sau așteptări care definesc cerințele de calitate ale datelor în contextul Data Quality și Data Validation.

De obicei, expectation suite include mai multe așteptări individuale, de exemplu:

• Verificarea faptului că valorile dintr-o coloană nu sunt goale
• Verificarea faptului că valorile se află într-un interval specificat
• Verificarea unicitații valorilor
• Verificarea conformității cu formatul (de exemplu, email)

Expectation suite este folosit pentru a verifica automat dacă datele respectă aceste reguli, ceea ce ajută la identificarea erorilor, anomaliilor și menținerea calității datelor la nivelul necesar.

Exemplu de utilizare în biblioteca Great Expectations (Python):

import great_expectations as ge

df = ge.from_pandas.mydf
df.expect_column_values_to_not_be_null('vârstă')
df.expect_column_values_to_be_between('salariu', min_value=30000, max_value=200000)

rezultate = df.validate()

Prin urmare, expectation suite este un set structurat de verificări care ajută la monitorizarea sistematică a calității datelor.