Cos'è il back leakage?

Il back leakage (fuga di informazioni) è una situazione nel machine learning in cui le informazioni dal set di dati di test o validazione vengono involontariamente incorporate nel processo di training. Questo porta a un overfitting del modello su questi dati, facendo sì che le metriche di performance sul set di test risultino sovrastimate e non riflettano la reale capacità del modello di generalizzare a dati nuovi e unseen.

Cause del back leakage:

• Eseguire il pre-processing dei dati (scaling, normalizzazione, codifica delle caratteristiche categoriche) sull'intero set di dati prima di dividerlo in training, test e validazione.
• Utilizzare statistiche dal set di test o validazione (ad esempio, media, deviazione standard) durante il trattamento del set di training.
• Selezione delle caratteristiche basata sull'intero set di dati, incluso il parte di test.
• Regolazione manuale del modello o degli hyperparametri basata sulla performance osservata sul set di test.

Conseguenze del back leakage:

• Valutazioni di performance del modello poco affidabili.
• Il modello funziona male su nuovi dati in produzione.
• Spreco di risorse su un modello inefficiente.

Prevenzione del back leakage:

• Dividere sempre i dati in set di training, validazione e test prima di qualsiasi pre-processing o analisi.
• Applicare il pre-processing dei dati (ad esempio, StandardScaler, OneHotEncoder) solo sul set di training, e poi usare i trasformatori addestrati per trasformare i set di validazione e test.
• Eseguire la selezione delle caratteristiche solo sul set di training.
• Utilizzare la validazione incrociata sul set di training per ottimizzare gli hyperparametri e valutare il modello prima del test finale sul set di test riservato.

Esempio di scaling incorretto (porta a back leakage):

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler

# Supponiamo di avere un DataFrame df

# Approccio sbagliato: scalare tutto il DataFrame
scaler = StandardScaler()
df_scaled = scaler.fit_transform(df)

# Poi dividere i dati
X_train, X_test, y_train, y_test = train_test_split(df_scaled, ...)

Esempio di scaling corretto (evita back leakage):

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler

# Supponiamo di avere un DataFrame df

# Approccio corretto: dividere prima i dati
X_train, X_test, y_train, y_test = train_test_split(df, ...)

# Poi addestrare lo scaler solo sui dati di training
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)

# E applicare lo scaler addestrato ai dati di test
X_test_scaled = scaler.transform(X_test)

# Ora X_train_scaled e X_test_scaled sono pronti per l'addestramento del modello