Что такое утечка данных (data leakage) и почему она опасна?

Утечка данных (data leakage) в машинном обучении — это ситуация, когда в процессе обучения модели используются данные, которые в реальной задаче недоступны или содержат информацию из будущего, что приводит к завышенной оценке качества модели.

Опасность утечки данных в том, что модель кажется очень точной на тренировочных и валидационных данных, но при реальном применении она показывает плохие результаты, так как «подглядывала» в ответы заранее. Это приводит к неправильным бизнес-решениям и потере доверия.

Пример: при предсказании кредитного дефолта, если в обучающей выборке случайно используется информация о том, что клиент уже выплатил кредит (данные из будущего), модель будет ошибочно считать, что этот клиент всегда платит вовремя.