Что такое column-level lineage?

Column-level lineage — это отслеживание происхождения и трансформаций данных на уровне отдельных столбцов в базе данных или дата-пайплайне.

Это означает, что можно понять, откуда взялись данные в конкретном столбце, какие операции над ними выполнялись (например, фильтрация, агрегация, вычисления) и как они связаны с исходными источниками.

Применение column-level lineage важно для:

• Обеспечения качества данных и их достоверности.
• Упрощения аудита и соответствия нормативным требованиям.
• Помощи в отладке и анализе влияния изменений в данных.

Например, если в отчёте есть столбец "Общий доход", column-level lineage позволит проследить, из каких исходных таблиц и столбцов он формируется, какие вычисления применяются, и как изменения в исходных данных повлияют на итоговый результат.