Доводилось ли встречать утечку данных при обучении модели?

Да, утечка данных (data leakage) при обучении модели — распространённая проблема, когда в тренировочные данные попадает информация, которая недоступна в реальных условиях применения модели. Это приводит к переобучению и завышенной оценке качества.

Пример: при прогнозировании кредитного риска в обучающей выборке может оказаться признак, напрямую связанный с решением о выдаче кредита (например, статус одобрения), который в реальной жизни неизвестен на момент предсказания.

Чтобы избежать утечки данных, важно:

• Чётко разделять тренировочные и тестовые данные по времени или другим критериям.
• Исключать признаки, которые содержат информацию о целевой переменной или будущих событиях.
• Проводить тщательный анализ признаков и бизнес-логики.

В практике я сталкивался с утечками при работе с временными рядами, когда данные из будущего случайно попадали в тренировочный набор, что приводило к нереалистично высоким метрикам.