Какво е мултиколинеарност на признаците? Защо е опасна и как да я открием?

Мултиколинеарността на признаците е ситуация, при която два или повече признака (features) в набор от данни са силно корелирани помежду си, тоест един признак може почти линейно да се изрази чрез други.

Защо е опасно:

• Влошава стабилността и интерпретируемостта на моделите, особено линейните регресии.
• Коэффициентите на признаците стават нестабилни и могат да променят знака или големината си при малки промени в данните.
• Усложнява идентифицирането на влиянието на всеки признак върху целевата променлива.

Как да се открие:

• Изчислете корелационната матрица на признаците и търсете двойки с висока корелация (например > 0.8).
• Използвайте показателя VIF (Variance Inflation Factor): стойности VIF > 5 или 10 показват силна мултиколинеарност.

Пример за изчисление на VIF в Python:

from statsmodels.stats.outliers_influence import variance_inflation_factor
import pandas as pd

X = pd.DataFrame({
    'x1': [...],
    'x2': [...],
    'x3': [...],
})

vif_data = pd.DataFrame()
vif_data['feature'] = X.columns
vif_data['VIF'] = [variance_inflation_factor(X.values, i) for i in range(len(X.columns))]
print(vif_data)

Ако се открие мултиколинеарност, може да се премахнат или обединят корелиращите признаци, да се приложат методи за подбор на признаци или да се използва регуляризация.