Jak znormalizować wartości liczbowe i zminimalizować wpływ wartości odstających?

Aby znormalizować dane liczbowe i zminimalizować wpływ wartości odstających, stosuje się kilka podejść:

1. Transformacje danych:

   • Transformacja logarytmiczna (log(x)) — zmniejsza asymetrię i ścieśnia duże wartości.
   • Pierwiastek kwadratowy lub transformacja odwrotna — również pomagają normalizować rozkład.
   • Transformacja Box-Cox — parametryczna, dobiera optymalny parametr do przybliżenia rozkładu normalnego.
   • Transformacja Yeo-Johnson — podobna do Box-Cox, działa również z wartościami ujemnymi.

2. Obsługa wartości odstających:

   • Obcinanie (capping) — ogranicza wartości do percentyli 1% i 99%, na przykład.
   • Zastępowanie wartości odstających — na przykład medianą lub najbliższą "normalną" wartością.
   • Użycie metod skalowania odpornych — na przykład RobustScaler w sklearn, który używa mediany i rozstępu międzykwartylowego.

3. Skalowanie i normalizacja:

   • Po transformacjach można zastosować standaryzację (odjęcie średniej i podzielenie przez odchylenie standardowe), aby uzyskać dane z zerową średnią i jednostkową wariancją.

Przykład z użyciem Pythona i biblioteki sklearn:

from sklearn.preprocessing import PowerTransformer, RobustScaler
import numpy as np

# Przykładowe dane z wartościami odstającymi
data = np.array([[1], [2], [3], [4], [100]])

# Transformacja w celu przybliżenia do rozkładu normalnego
pt = PowerTransformer(method='yeo-johnson')
data_transform = pt.fit_transform(data)

# Skalowanie z uwzględnieniem wartości odstających
scaler = RobustScaler()
Dane_skalowane = scaler.fit_transform(data_transform)

print(Dane_skalowane)

W ten sposób, łącząc transformacje i metody obsługi wartości odstających, można przybliżyć dane do rozkładu bardziej normalnego i zmniejszyć wpływ wartości ekstremalnych.