Mis on ootuste komplekt?

Expectation suite — see on reeglite või ootuste kogum, mis määratleb andmekvaliteedi nõuded Data Quality ja Data Validation kontekstis.

Tavaliselt hõlmab expectation suite mitmeid üksikuid ootusi, näiteks:

• Kontrollida, et veeru väärtused ei ole tühjad
• Kontrollida, et väärtused on määratletud vahemikus
• Kontrollida väärtuste unikaalsust
• Kontrollida vastavust formaadile (näiteks e-post)

Expectation suite kasutatakse automaatselt kontrollimiseks, kas andmed vastavad nendele reeglitele, mis aitab avastada vigu, anomaaliaid ning säilitada andmete kvaliteeti nõutaval tasemel.

Näide kasutamisest Great Expectations (Python) raamatukogus:

import great_expectations as ge

df = ge.from_pandas_minu_andmed
df.expect_column_values_to_not_be_null('vanus')
df.expect_column_values_to_be_between('palk', min_value=30000, max_value=200000)

tulemused = df.validate()

Seega on expectation suite struktureeritud kontrollide kogum, mis aitab süsteemselt jälgida andmete kvaliteeti.