Was ist eine Erwartungssuite?

Expectation suite — ist eine Sammlung von Regeln oder Erwartungen, die die Qualitätsanforderungen an Daten im Kontext von Data Quality und Data Validation definieren.

In der Regel umfasst die Expectation Suite mehrere einzelne Erwartungen, zum Beispiel:

• Überprüfung, dass die Werte in einer Spalte nicht leer sind
• Überprüfung, dass die Werte innerhalb eines festgelegten Bereichs liegen
• Überprüfung der Einzigartigkeit der Werte
• Überprüfung der Übereinstimmung mit einem Format (z.B. E-Mail)

Die Expectation Suite wird verwendet, um automatisch zu überprüfen, ob die Daten diesen Regeln entsprechen, was hilft, Fehler und Anomalien zu erkennen und die Datenqualität auf dem erforderlichen Niveau zu halten.

Beispiel für die Verwendung in der Bibliothek Great Expectations (Python):

import great_expectations as ge

df = ge.from_pandas.mein_dataframe
df.expect_column_values_to_not_be_null('alter')
df.expect_column_values_to_be_between('gehalt', min_value=30000, max_value=200000)

Ergebnisse = df.validate()

Daher ist die Expectation Suite eine strukturierte Sammlung von Prüfungen, die hilft, die Datenqualität systematisch zu kontrollieren.