Mis on Great Expectations ja millised on selle põhikontseptsioonid?

Great Expectations on tööriist andmete kvaliteedi automatiseerimiseks. See aitab luua, hallata ja käivitada teste (expectations) andmete jaoks, et tagada nende vastavus määratletud nõuetele.

Peamised mõisted:

• Expectations — väited või reeglid, mis kirjeldavad, kuidas andmekogum peaks välja nägema (näiteks, "vanuse veeru väärtused peavad olema suuremad kui 0").
• Data Context — keskkond, kus salvestatakse konfiguratsioone, expectations ja kontrolli tulemusi.
• Validation Results — aruanded selle kohta, kas andmed on läbinud kontrollid ja milliseid vigu on leitud.
• Data Docs — automaatselt genereeritud dokumentatsioon kontrolli tulemustega, mida on lihtne vaadata ja analüüsida.

Great Expectations võimaldab integreerida andmete kvaliteedi kontrollid andmetöötluspipelinesse, aidates varases staadiumis probleeme tuvastada ja lahendada.