Kas ir Great Expectations un kādas ir tā galvenās koncepcijas?

Great Expectations ir rīks datu kvalitātes automatizācijai. Tas palīdz izveidot, pārvaldīt un veikt testus (expectations) datiem, lai nodrošinātu, ka tie atbilst noteiktajiem prasībām.

Galvenās jēdzieni:

• Expectations — apgalvojumi vai noteikumi, kas apraksta, kā jāizskatās datu kopai (piemēram, "vecuma kolonnas vērtības jābūt lielākām par 0").
• Data Context — vide, kurā tiek glabātas konfigurācijas, expectations un pārbaudes rezultāti.
• Validation Results — ziņojumi par to, vai dati ir izturējuši pārbaudes un kādas kļūdas ir konstatētas.
• Data Docs — automātiski ģenerēta dokumentācija ar pārbaudes rezultātiem, viegli skatāma un analizējama.

Great Expectations ļauj integrēt datu kvalitātes pārbaudes datu apstrādes pipeline'os, kas palīdz agrīni identificēt un novērst problēmas.