Τι είναι το back leakage;

Back leakage (οπισθοδρομική διαρροή) είναι μια κατάσταση στη μηχανική μάθηση όπου πληροφορίες από το σύνολο δεδομένων δοκιμής ή επικύρωσης εισέρχονται κατά λάθος στη διαδικασία εκπαίδευσης. Αυτό οδηγεί σε υπερεκπαίδευση του μοντέλου σε αυτά τα δεδομένα, με αποτέλεσμα οι αξιολογήσεις απόδοσης (μετρικές ποιότητας) στο σύνολο δοκιμής να φαίνονται υπερβολικές και να μην αντικατοπτρίζουν την πραγματική ικανότητα του μοντέλου να γενικεύει σε νέα, unseen δεδομένα.

Αιτίες back leakage:

• Πραγματοποίηση προεπεξεργασίας δεδομένων (κλιμάκωση, κανονικοποίηση, κωδικοποίηση κατηγορικών χαρακτηριστικών) σε ολόκληρο το σύνολο δεδομένων πριν από τη διαίρεση σε εκπαιδευτικό, δοκιμαστικό και επικυρωτικό σύνολο.
• Χρήση στατιστικών από το σύνολο δοκιμής ή επικύρωσης (π.χ., μέσος όρος, τυπική απόκλιση) κατά την επεξεργασία του εκπαιδευτικού συνόλου.
• Επιλογή χαρακτηριστικών βάσει ολόκληρου του συνόλου δεδομένων, συμπεριλαμβανομένου του δοκιμαστικού.
• Χειροκίνητη προσαρμογή του μοντέλου ή των υπερπαραμέτρων βάσει της παρατηρηθείσας απόδοσης στο δοκιμαστικό σύνολο.

Συνέπειες του back leakage:

• Αναξιόπιστες αξιολογήσεις απόδοσης του μοντέλου.
• Το μοντέλο λειτουργεί κακά σε νέα δεδομένα στην παραγωγή.
• Σπατάλη πόρων σε ένα αναποτελεσματικό μοντέλο.

Πρόληψη του back leakage:

• Πάντα να διαχωρίζετε τα δεδομένα σε εκπαιδευτικό, επικυρωτικό και δοκιμαστικό σύνολο πριν από οποιαδήποτε προεπεξεργασία ή ανάλυση.
• Εφαρμόστε την προεπεξεργασία δεδομένων (π.χ., StandardScaler, OneHotEncoder) μόνο στο εκπαιδευτικό σύνολο, και στη συνέχεια χρησιμοποιήστε τους εκπαιδευμένους μετασχηματιστές για να μετασχηματίσετε τα επικυρωτικά και δοκιμαστικά σύνολα.
• Πραγματοποιήστε επιλογή χαρακτηριστικών μόνο στο εκπαιδευτικό σύνολο.
• Χρησιμοποιήστε διασταυρούμενη επικύρωση στο εκπαιδευτικό σύνολο για ρύθμιση υπερπαραμέτρων και αξιολόγηση του μοντέλου πριν από την τελική δοκιμή στο κρατημένο δοκιμαστικό σύνολο.

Παράδειγμα λανθασμένου κλιμάκωσης (οδηγεί σε back leakage):

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler

# Υποθέτουμε ότι έχουμε ένα DataFrame df

# Λανθασμένη προσέγγιση: κλιμάκωση ολόκληρου του DataFrame
scaler = StandardScaler()
df_scaled = scaler.fit_transform(df)

# Στη συνέχεια, διαχωρίζουμε τα δεδομένα
X_train, X_test, y_train, y_test = train_test_split(df_scaled, ...)

Παράδειγμα σωστής κλιμάκωσης (αποφεύγει το back leakage):

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler

# Υποθέτουμε ότι έχουμε ένα DataFrame df

# Σωστή προσέγγιση: διαχωρίζουμε πρώτα τα δεδομένα
X_train, X_test, y_train, y_test = train_test_split(df, ...)

# Στη συνέχεια, εκπαιδεύουμε τον scaler μόνο στα δεδομένα εκπαίδευσης
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)

# Και εφαρμόζουμε τον εκπαιδευμένο scaler στα δεδομένα δοκιμής
X_test_scaled = scaler.transform(X_test)

# Τώρα, X_train_scaled και X_test_scaled είναι έτοιμα για εκπαίδευση του μοντέλου