Работали ли вы с Great Expectations и dbt tests для проверки качества данных?

Да, работал с Great Expectations и dbt tests для проверки качества данных. Great Expectations позволяет создавать декларативные проверки данных (expectations), которые можно запускать как часть пайплайна, чтобы убедиться, что данные соответствуют заданным требованиям — например, проверка типов, диапазонов значений, уникальности и т.д.

Dbt tests — это встроенные или кастомные тесты, которые проверяют целостность и корректность данных на уровне моделей dbt. Например, можно проверить, что в колонке нет NULL-значений или что значения уникальны.

Пример использования Great Expectations для проверки, что в колонке "age" нет отрицательных значений:

import great_expectations as ge

df = ge.read_csv('data.csv')
df.expect_column_values_to_be_between('age', min_value=0)

В dbt можно добавить тест в schema.yml:

models:
  - name: users
    columns:
      - name: id
        tests:
          - unique
          - not_null
      - name: email
        tests:
          - not_null

Оба инструмента хорошо дополняют друг друга для обеспечения качества данных на разных этапах ETL/ELT процессов.