Kas ir gaidījumu komplekts?

Expectation suite — tas ir noteikumu vai cerību kopums, kas definē datu kvalitātes prasības Data Quality un Data Validation kontekstā.

Parasti expectation suite ietver vairākus atsevišķus cerējumus, piemēram:

• Pārbaudīt, vai kolonnas vērtības nav tukšas
• Pārbaudīt, vai vērtības ir noteiktā diapazonā
• Pārbaudīt vērtību unikālitāti
• Pārbaudīt atbilstību formātam (piemēram, e-pasts)

Expectation suite tiek izmantots, lai automātiski pārbaudītu, vai dati atbilst šiem noteikumiem, tas palīdz identificēt kļūdas, anomālijas un uzturēt datu kvalitāti nepieciešamajā līmenī.

Piemērs lietošanai Great Expectations (Python) bibliotēkā:

import great_expectations as ge

df = ge.from_pandas_mans_dati
df.expect_column_values_to_not_be_null('vecums')
df.expect_column_values_to_be_between('alga', min_value=30000, max_value=200000)

rezultāti = df.validate()

Tādējādi, expectation suite ir strukturēts pārbaudes komplekts, kas palīdz sistemātiski uzraudzīt datu kvalitāti.