Какие тесты данных вы писали в production?

В production для контроля качества данных в ML-проектах я писал следующие типы тестов:

• Проверка полноты данных: убеждался, что все необходимые поля присутствуют и не содержат null или пустых значений.
• Проверка распределения признаков: сравнивал статистики (среднее, медиану, стандартное отклонение) с эталонными, чтобы выявить дрейф данных.
• Проверка типов и форматов: проверял, что данные соответствуют ожидаемым типам (числа, строки, даты) и форматам.
• Проверка уникальности и дубликатов: выявлял повторяющиеся записи, которые могут исказить обучение.
• Проверка на выбросы и аномалии: с помощью правил или моделей обнаруживал аномальные значения.

Пример на Python с использованием pandas для проверки отсутствия пропусков и типов:

import pandas as pd

def validate_data(df):
    assert not df.isnull().any().any(), "Есть пропущенные значения"
    assert df['age'].dtype == 'int64', "Возраст должен быть целым числом"
    # Проверка распределения
    mean_age = df['age'].mean()
    assert 20 < mean_age < 50, "Средний возраст вне ожидаемого диапазона"

Такие тесты интегрируются в пайплайн обработки данных, чтобы своевременно обнаруживать проблемы.