Hoe numerieke waarden te normaliseren en de invloed van uitschieters te minimaliseren?

Om numerieke gegevens te normaliseren en de invloed van uitschieters te minimaliseren, worden verschillende benaderingen toegepast:

1. Datatransformaties:

   • Logaritmische transformatie (log(x)) — vermindert scheefheid en comprimeert grote waarden.
   • Vierkantswortel of omgekeerde transformatie — helpen ook bij het normaliseren van de verdeling.
   • Box-Cox transformatie — parametrisch, zoekt de optimale parameter om de verdeling te benaderen.
   • Yeo-Johnson transformatie — vergelijkbaar met Box-Cox, werkt ook met negatieve waarden.

2. Omgaan met uitschieters:

   • Capping — beperkt de waarden tot de 1% en 99% percentielen.
   • Vervanging van uitschieters — bijvoorbeeld door de mediaan of de dichtstbijzijnde "normale" waarde.
   • Gebruik van robuuste schaalmethoden — bijvoorbeeld RobustScaler in sklearn, dat de mediaan en het interkwartielbereik gebruikt.

3. Schaal- en normalisatiemethoden:

   • Na transformaties kan standaardisatie worden toegepast (aftrekken van het gemiddelde en delen door de standaardafwijking) om gegevens met een gemiddelde van nul en een variantie van één te verkrijgen.

Voorbeeld met Python en sklearn:

from sklearn.preprocessing import PowerTransformer, RobustScaler
import numpy as np

# Voorbeeldgegevens met uitschieters
data = np.array([[1], [2], [3], [4], [100]])

# Transformatie om dichter bij een normale verdeling te komen
pt = PowerTransformer(method='yeo-johnson')
getransformeerde_data = pt.fit_transform(data)

# Schalen met inachtneming van uitschieters
scaler = RobustScaler()
geschaalde_data = scaler.fit_transform(getransformeerde_data)

print(geschaalde_data)

Door het combineren van transformaties en robuuste schaalmethoden kunnen gegevens dichter bij een normale verdeling worden gebracht en de invloed van extreme waarden worden verminderd.