Mi az elváráscsomag?

Expectation suite — ez egy szabályok vagy elvárások halmaza, amelyek meghatározzák az adatminőségi követelményeket az Adatminőség és Adatellenőrzés kontextusában.

Általában az expectation suite több egyedi elvárást tartalmaz, például:

• Ellenőrzés, hogy egy oszlop értékei nem üresek
• Ellenőrzés, hogy az értékek egy adott tartományon belül vannak
• Az értékek egyediségének ellenőrzése
• Formátumnak való megfelelés ellenőrzése (pl. email)

Az expectation suite automatikusan ellenőrzi, hogy az adatok megfelelnek-e ezeknek a szabályoknak, ezáltal segít hibák és anomáliák felismerésében, valamint az adatok minőségének fenntartásában a kívánt szinten.

Példa a Great Expectations (Python) könyvtár használatára:

import great_expectations as ge

df = ge.from_pandas_sajat_adatkeretem
df.expect_column_values_to_not_be_null('kor')
df.expect_column_values_to_be_between('fizetés', min_value=30000, max_value=200000)

eredmenyek = df.validate()

Ezért az expectation suite egy strukturált ellenőrzésgyűjtemény, amely segít az adatok minőségének rendszeres ellenőrzésében.