Τι είναι το CV-leak και ποια είναι οι πηγές του;

Διαρροή CV (Διαρροή Διασταυρούμενης Επικύρωσης) — είναι μια κατάσταση όπου, κατά τη διάρκεια της διασταυρούμενης επικύρωσης, το μοντέλο λαμβάνει πληροφορίες από το μέρος δοκιμής των δεδομένων, οδηγώντας σε υπερεκτίμηση της ποιότητας του μοντέλου και κακή γενικευσιμότητα.

Οι κύριες πηγές διαρροής CV:

• Διαρροή χαρακτηριστικών (Feature leakage): χαρακτηριστικά που περιέχουν άμεσα ή έμμεσα πληροφορίες σχετικά με τη μεταβλητή στόχο, π.χ., χαρακτηριστικά που δημιουργούνται με τη χρήση μελλοντικών δεδομένων.

• Παραβίαση της χρονικής σειράς: κατά την εργασία με χρονικές σειρές, δεδομένα από το μέλλον εισάγονται στο σύνολο εκπαίδευσης.

• Λανθασμένη διαίρεση δεδομένων: όταν σε διαφορετικά fold εμφανίζονται σχετικά αντικείμενα (π.χ., δεδομένα του ίδιου χρήστη ή συνεδρίας), οδηγώντας σε διαρροή πληροφοριών.

• Χρήση συγκεντρωμένων δεδομένων που έχουν υπολογιστεί σε ολόκληρο το δείγμα, και όχι μόνο στο μέρος εκπαίδευσης.

Για την αποφυγή διαρροής CV, είναι απαραίτητο να σχεδιαστεί προσεκτικά το σχήμα διαχωρισμού δεδομένων, να χρησιμοποιηθούν σωστές μέθοδοι προεπεξεργασίας και να αποτραπεί η εισαγωγή πληροφοριών από το τεστ στην εκπαίδευση.