Wat is CV-leak en wat zijn de bronnen?

CV-lek (Cross-Validation-lek) — dit is een situatie waarin het model tijdens kruisvalidatie informatie uit het testgedeelte van de gegevens krijgt, wat leidt tot een overschatting van de kwaliteit van het model en een slechte generalisatiecapaciteit.

De belangrijkste bronnen van CV-lek:

• Feature leakage: kenmerken die direct of indirect informatie bevatten over de doelvariabele, bijvoorbeeld kenmerken die met behulp van toekomstige gegevens zijn gemaakt.

• Schending van de temporele volgorde: bij het werken met tijdreeksen worden gegevens uit de toekomst opgenomen in de trainingsset.

• Onjuiste gegevensverdeling: wanneer in verschillende vouwen gerelateerde objecten voorkomen (bijvoorbeeld gegevens van dezelfde gebruiker of sessie), wat leidt tot informatielek.

• Gebruik van geaggregeerde gegevens die over de hele steekproef zijn berekend, en niet alleen over het trainingsgedeelte.

Om CV-lek te voorkomen, moet je zorgvuldig het verdelingsschema van de gegevens plannen, juiste preprocessing-methoden gebruiken en voorkomen dat informatie uit de testset in de training terechtkomt.