Qu'est-ce qu'une suite d'attentes?

La suite d’attentes — est un ensemble de règles ou d’attentes qui définissent les exigences de qualité des données dans le contexte de Data Quality et Data Validation.

Habituellement, la suite d’attentes comprend plusieurs attentes individuelles, par exemple :

• Vérifier que les valeurs dans une colonne ne sont pas vides
• Vérifier que les valeurs se trouvent dans une plage donnée
• Vérifier l’unicité des valeurs
• Vérifier la conformité au format (par exemple, email)

La suite d’attentes est utilisée pour vérifier automatiquement que les données respectent ces règles, ce qui aide à détecter les erreurs, anomalies et à maintenir la qualité des données au niveau requis.

Exemple d’utilisation dans la bibliothèque Great Expectations (Python) :

import great_expectations as ge

df = ge.from_pandas.mon_dataframe
df.expect_column_values_to_not_be_null('âge')
df.expect_column_values_to_be_between('salaire', min_value=30000, max_value=200000)

résultats = df.validate()

Ainsi, la suite d’attentes est un ensemble structuré de vérifications qui aide à contrôler systématiquement la qualité des données.