Cos'è il CV-leak e quali sono le sue fonti?

Perdita di CV (fuga di validazione incrociata) — è una situazione in cui, durante la validazione incrociata, il modello riceve informazioni dalla parte di test dei dati, portando a una valutazione sovrastimata della qualità del modello e a una scarsa capacità di generalizzazione.

Le principali fonti di perdita di CV:

• Perdita di caratteristiche (Feature leakage): caratteristiche che contengono direttamente o indirettamente informazioni sulla variabile target, ad esempio caratteristiche create utilizzando dati futuri.

• Violazione dell’ordine temporale: lavorando con serie temporali, i dati futuri vengono inclusi nel campione di addestramento.

• Divisione errata dei dati: quando in diversi fold compaiono oggetti correlati (ad esempio, dati dello stesso utente o sessione), portando a una perdita di informazioni.

• Utilizzo di dati aggregati calcolati sull’intero campione, e non solo sulla parte di addestramento.

Per evitare la perdita di CV, è necessario pianificare attentamente lo schema di divisione dei dati, utilizzare metodi di pre-elaborazione corretti e impedire che le informazioni del test entrino nell’addestramento.