Czym jest wyciek z powrotem?

Back leakage (wyciek informacji zwrotnej) to sytuacja w uczeniu maszynowym, gdy informacje z zestawu danych testowych lub walidacyjnych nieumyślnie dostają się do procesu treningowego. Prowadzi to do nadmiernego dopasowania modelu do tych danych, co sprawia, że oceny wydajności (metryki jakości) na zestawie testowym wydają się zawyżone i nie odzwierciedlają rzeczywistej zdolności modelu do uogólniania na nowe, unseen dane.

Przyczyny back leakage:

• Przeprowadzanie wstępnej obróbki danych (skalowanie, normalizacja, kodowanie cech kategorycznych) na całym zestawie danych przed podziałem na zbiór treningowy, testowy i walidacyjny.
• Używanie statystyk z zestawu testowego lub walidacyjnego (np. średnia, odchylenie standardowe) podczas przetwarzania zbioru treningowego.
• Wybór cech na podstawie całego zestawu danych, w tym testowego.
• Ręczne dostosowywanie modelu lub hiperparametrów na podstawie zaobserwowanej wydajności na zestawie testowym.

Skutki back leakage:

• Niezawodne oceny wydajności modelu.
• Model działa słabo na nowych danych w produkcji.
• Marnotrawstwo zasobów na nieefektywny model.

Zapobieganie back leakage:

• Zawsze dzielić dane na zestawy treningowe, walidacyjne i testowe przed jakąkolwiek wstępną obróbką lub analizą.
• Stosować wstępną obróbkę danych (np. StandardScaler, OneHotEncoder) tylko na zestawie treningowym, a następnie używać wytrenowanych transformatorów do przekształcania zestawów walidacyjnych i testowych.
• Wykonywać wybór cech tylko na zestawie treningowym.
• Używać walidacji krzyżowej na zestawie treningowym do dostosowania hiperparametrów i oceny modelu przed końcowym testem na zarezerwowanym zestawie testowym.

Przykład nieprawidłowego skalowania (prowadzi do back leakage):

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler

# Zakładamy, że mamy DataFrame df

# Nieprawidłowe podejście: skalowanie całego DataFrame
scaler = StandardScaler()
df_scaled = scaler.fit_transform(df)

# Następnie dzielimy dane
X_train, X_test, y_train, y_test = train_test_split(df_scaled, ...)

Przykład poprawnego skalowania (zapobiega back leakage):

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler

# Zakładamy, że mamy DataFrame df

# Prawidłowe podejście: najpierw dzielimy dane
X_train, X_test, y_train, y_test = train_test_split(df, ...)

# Następnie trenujemy scaler tylko na danych treningowych
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)

# I stosujemy wytrenowany scaler do danych testowych
X_test_scaled = scaler.transform(X_test)

# Teraz X_train_scaled i X_test_scaled są gotowe do treningu modelu