Какво е CV-leak и какви са неговите източници?

Изтичане на CV (Leakage при кръстосана проверка) — това е ситуация, при която по време на кръстосаната проверка моделът получава информация от тестовата част на данните, което води до преувеличена оценка на качеството на модела и лоша способност за обобщаване.

Основните източници на изтичане на CV:

• Изтичане на характеристики (Feature leakage): характеристики, които съдържат директно или косвено информация за целевата променлива, например характеристики, създадени с използване на бъдещи данни.

• Нарушаване на времевия ред: при работа с времеви редове данните от бъдещето попадат в тренировъчната извадка.

• Грешно разделяне на данните: когато в различни фолдери се появяват свързани обекти (например данни на един и същи потребител или сесия), което води до изтичане на информация.

• Използване на агрегирани данни, изчислени върху цялата извадка, а не само върху тренировъчната част.

За да се избегне изтичане на CV, е необходимо внимателно да се планира схемата за разделяне на данните, да се използват правилни методи за предварителна обработка и да се предотврати попадане на информация от теста в обучението.