Kas yra lūkesčių rinkinys?

Expectation suite — tai taisyklių ar lūkesčių rinkinys, kuris apibrėžia duomenų kokybės reikalavimus Data Quality ir Data Validation kontekste.

Paprastai expectation suite apima daugybę atskirų lūkesčių, pavyzdžiui:

• Patikrinti, ar stulpelio reikšmės nėra tuščios
• Patikrinti, ar reikšmės yra nurodytame intervale
• Patikrinti unikalumą
• Patikrinti atitikimą formatui (pvz., el. paštas)

Expectation suite naudojamas automatiškai tikrinti, ar duomenys atitinka šiuos reikalavimus, tai padeda aptikti klaidas, anomalijas ir palaikyti duomenų kokybę reikiamu lygiu.

Pavyzdys naudojimo Great Expectations (Python) bibliotekoje:

import great_expectations as ge

df = ge.from_pandas_manoma_duomenys
df.expect_column_values_to_not_be_null('amžius')
df.expect_column_values_to_be_between('atlyginimas', min_value=30000, max_value=200000)

rezultatai = df.validate()

Todėl expectation suite yra struktūruotas patikrinimų rinkinys, kuris padeda sistemingai kontroliuoti duomenų kokybę.