Wie man numerische Werte normalisiert und den Einfluss von Ausreißern minimiert?

Um die numerischen Daten zu normalisieren und den Einfluss von Ausreißern zu minimieren, werden verschiedene Ansätze angewendet:

1. Daten-Transformationen:

   • Logarithmische Transformation (log(x)) — reduziert die Schiefe und komprimiert große Werte.
   • Quadratwurzel oder Inverse Transformation — helfen ebenfalls, die Verteilung zu normalisieren.
   • Box-Cox-Transformation — parametrisch, sucht den optimalen Parameter, um sich einer Normalverteilung anzunähern.
   • Yeo-Johnson-Transformation — ähnlich wie Box-Cox, funktioniert auch mit negativen Werten.

2. Umgang mit Ausreißern:

   • Beschränkung (Capping) — Begrenzung der Werte an den Perzentilen 1% und 99%, zum Beispiel.
   • Ersetzung von Ausreißern — z.B. durch den Median oder den nächstgelegenen "normalen" Wert.
   • Verwendung robuster Skalierungsmethoden — z.B. RobustScaler in sklearn, der Median und Interquartilsabstand nutzt.

3. Skalierung und Normalisierung:

   • Nach Transformationen kann eine Standardisierung (Subtraktion des Mittelwerts und Division durch die Standardabweichung) angewendet werden, um Daten mit Mittelwert Null und Varianz Eins zu erhalten.

Beispiel mit Python und sklearn:

from sklearn.preprocessing import PowerTransformer, RobustScaler
import numpy as np

# Beispielsdaten mit Ausreißern
data = np.array([[1], [2], [3], [4], [100]])

# Transformation zur Annäherung an eine Normalverteilung
pt = PowerTransformer(method='yeo-johnson')
data_transformiert = pt.fit_transform(data)

# Skalierung unter Berücksichtigung von Ausreißern
scaler = RobustScaler()
Daten_skaliert = scaler.fit_transform(data_transformiert)

print(Daten_skaliert)

Durch die Kombination von Transformationen und robusten Skalierungsmethoden können die Daten einer normaleren Verteilung angenähert und der Einfluss extremer Werte reduziert werden.