Какво е back leakage?

Обратната утечка (back leakage) е ситуация в машинното обучение, когато информация от тестовия или валидиционния набор данни неволно попада в процеса на обучение. Това води до пренасищане на модела върху тези данни, което прави оценките на производителността (метриките за качество) на тестовия набор преувеличени и не отразяват реалната способност на модела да обобщава към нови, unseen данни.

Причини за back leakage:

• Извършване на предварителна обработка на данните (скалиране, нормализация, кодиране на категориални признаци) върху целия набор данни преди разделянето му на обучаващ, тестов и валидиционен.
• Използване на статистики от тестовия или валидиционния набор (например средно, стандартно отклонение) при обработката на обучаващия набор.
• Избор на признаци (feature selection) въз основа на целия набор данни, включително тестовия.
• "Ръчно" настройване на модела или хиперпараметрите въз основа на наблюдаваната производителност върху тестовия набор данни.

Последствия от back leakage:

• Ненадеждни оценки на производителността на модела.
• Моделът работи зле на нови данни в продукция.
• Празнохарчене на ресурси за неефективен модел.

Предотвратяване на back leakage:

• Винаги разделяйте данните на обучаващ, валидиционен и тестов набор преди всяка предварителна обработка или анализ.
• Използвайте предварителна обработка на данните (например StandardScaler, OneHotEncoder) само върху обучаващия набор, а след това използвайте обучените трансформатори за преобразуване на валидиционния и тестовия набор.
• Извършвайте избор на признаци само върху обучаващия набор данни.
• Използвайте крос-валидация върху обучаващия набор за настройка на хиперпараметрите и оценка на модела преди финалното тестване на отложен тестов набор.

Пример за неправилно мащабиране (води до back leakage):

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler

# Предполагаме, че имаме dataframe df

# Неправилен подход: мащабираме целия dataframe
scaler = StandardScaler()
df_scaled = scaler.fit_transform(df)

# След това разделяме данните
X_train, X_test, y_train, y_test = train_test_split(df_scaled, ...)

Пример за правилно мащабиране (избягва back leakage):

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler

# Предполагаме, че имаме dataframe df

# Правилен подход: първо разделяме данните
X_train, X_test, y_train, y_test = train_test_split(df, ...)

# След това обучаваме мащабировача само върху тренировъчните данни
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)

# И прилагаме обучената скалировка към тестовите данни
X_test_scaled = scaler.transform(X_test)

# Сега X_train_scaled и X_test_scaled са готови за обучение на модел