Что такое CV-leak и какие источники бывают?

CV-leak (Cross-Validation leakage) — это ситуация, когда в процессе кросс-валидации модель получает информацию из тестовой части данных, что приводит к завышенной оценке качества модели и плохой обобщающей способности.

Основные источники CV-leak:

• Утечка признаков (Feature leakage): признаки, которые напрямую или косвенно содержат информацию о целевой переменной, например, признаки, созданные с использованием будущих данных.

• Нарушение временного порядка: при работе с временными рядами данные из будущего попадают в тренировочную выборку.

• Неправильное разбиение данных: когда в разных фолдах оказываются связанные объекты (например, данные одного пользователя или одной сессии), что приводит к утечке информации.

• Использование агрегированных данных, рассчитанных по всей выборке, а не только по тренировочной части.

Чтобы избежать CV-leak, нужно тщательно продумывать схему разбиения данных, использовать правильные методы предобработки и не допускать попадания информации из теста в тренировку.