Что хотят услышать интервьюеры:

Важно показать, что есть практический опыт поиска и разруливания проблем в данных, а не только знание терминов. Хороший ответ обычно связывает тип проблемы с её влиянием на модель, аналитику или пайплайн. Сильный кандидат также умеет разделять проблемы на системные и разовые, и знает, как их обнаруживать.

Определение:

Проблемы качества данных — это отклонения в данных, которые снижают их пригодность для обучения моделей, аналитики или работы продуктовых систем. Обычно они связаны с неполнотой, неконсистентностью, ошибками измерения, дубликатами, выбросами, смещением распределения или нарушением схемы данных. На практике это не одна проблема, а набор типовых классов, которые по-разному влияют на результат.

Пример использования:

В проекте по прогнозированию оттока можно встретить несколько типовых проблем: часть пользователей не имеет заполненного возраста, у части событий дублируются записи из-за повторной отправки логов, а в одном из источников сменился формат даты. В результате модель начинает обучаться на неполных и искажённых данных, а метрики на валидации становятся нестабильными.

Пояснение кода:

Код не требуется: для этого вопроса важнее уметь перечислить виды проблем и объяснить, как их находят и что с ними делают.
Примерно это можно разложить так: сначала проверяют полноту и уникальность, затем смотрят согласованность схемы и диапазонов, после этого анализируют распределения и выбросы, а также сравнивают данные между источниками и по времени. Если проблема подтверждается, её либо исправляют на этапе ETL/ELT, либо исключают, либо помечают и учитывают в модели.

Ключевые моменты:

Неполные данные: пропуски в признаках, частично заполненные записи, отсутствующие ключевые поля.
Неконсистентность: разные значения одного и того же объекта в разных источниках, нарушение бизнес-правил.
Дубликаты: повторные строки, повторные события, дубли пользователей или транзакций.
Ошибки формата и схемы: сломанные типы, неверные даты, изменение структуры полей.
Выбросы и шум: аномальные значения из-за ошибок измерения, логирования или ручного ввода.
Смещение и дрейф: данные меняются со временем, и модель теряет актуальность или начинает хуже работать.

Какие виды проблем качества данных вы встречали?