Čo je to data lineage a aké nástroje (OpenLineage)?

Línia údajov je proces sledovania a dokumentovania pôvodu, pohybu a transformácie údajov v systéme. Ukazuje, odkiaľ údaje pochádzajú, ako sa menili a kam boli prenesené, čo je dôležité pre audit, kvalitu údajov a pochopenie vplyvu zmien.

OpenLineage je otvorený štandard a súbor nástrojov na zber a výmenu metadát o línii údajov. Pomáha integrovať rôzne systémy a sledovať životný cyklus údajov v zložitých pipeline.

Príklad použitia OpenLineage: pri spustení ETL procesu sa automaticky zbierajú informácie o vstupných a výstupných údajoch, krokoch transformácie a sú uložené v centralizovanom úložisku na neskoršiu analýzu a monitorovanie.