Šta je data lineage i koja su alata (OpenLineage)?

Линија података је процес праћења и документовања порекла, кретања и трансформације података у систему. Она показује одакле подаци потичу, како су се мењали и куда су пренесени, што је важно за ревизију, квалитет података и разумевање утицаја промена.

OpenLineage је отворени стандард и скуп алата за прикупљање и размену метаподатака о линији података. Он помаже у интеграцији различитих система и праћењу животног циклуса података у сложеним pipeline-има.

Пример коришћења OpenLineage: приликом покретања ETL процеса, аутоматски се прикупљају информације о улазним и излазним подацима, корацима трансформације и чувају у централизованом репозиторијуму за накнадну анализу и мониторинг.