Как да нормализираме числовите стойности и да минимизираме влиянието на извънредните стойности?

За да приведете числовите данни към нормално разпределение и да минимизирате влиянието на извънредните стойности, се прилагат няколко подхода:

1. Трансформации на данните:

   • Логаритмична трансформация (log(x)) — намалява асиметрията и компресира големите стойности.
   • Квадратен корен или обратна трансформация — също помагат за нормализиране на разпределението.
   • Box-Cox трансформация — параметрична, намира оптималния параметър за приближаване към нормално разпределение.
   • Yeo-Johnson трансформация — подобна на Box-Cox, работи и с отрицателни стойности.

2. Обработка на извънредни стойности:

   • Отрязване (capping) — ограничава стойностите до 1% и 99% персентили.
   • Замяна на извънредни стойности — например с медиана или най-близката "нормална" стойност.
   • Използване на устойчиви методи за мащабиране — например RobustScaler в sklearn, който използва медиана и междинен интерквартилен диапазон.

3. Мащабиране и нормализиране:

   • След трансформациите може да се приложи стандартизация (изваждане на средната стойност и деление на стандартното отклонение), за да се получат данни с нулева средна стойност и единична дисперсия.

Пример с Python и sklearn:

from sklearn.preprocessing import PowerTransformer, RobustScaler
import numpy as np

# Примерни данни с извънредни стойности
data = np.array([[1], [2], [3], [4], [100]])

# Трансформация за приближаване към нормално разпределение
pt = PowerTransformer(method='yeo-johnson')
transformed_data = pt.fit_transform(data)

# Мащабиране с оглед на извънредните стойности
scaler = RobustScaler()
scaled_data = scaler.fit_transform(transformed_data)

print(scaled_data)

По този начин, комбинирайки трансформации и устойчиви методи за мащабиране, може да се приближат данните към по-нормално разпределение и да се намали влиянието на екстремните стойности.