Hogyan normalizáljuk a numerikus értékeket és minimalizáljuk a kiugró értékek hatását?

An numerikus adatok normális eloszlásra való hozatalához és a kiugró értékek hatásának minimalizálásához több megközelítést alkalmaznak:

1. Adattranszformációk:

   • Logaritmikus transzformáció (log(x)) — csökkenti az aszimmetriát és összenyomja a nagy értékeket.
   • Gyök vagy fordított transzformáció — szintén segít normalizálni az eloszlást.
   • Box-Cox transzformáció — paraméteres, megtalálja az optimális paramétert a normális eloszláshoz való közelítéshez.
   • Yeo-Johnson transzformáció — hasonló a Box-Cox-hoz, negatív értékekkel is működik.

2. Kiugró értékek kezelése:

   • Korlátozás (capping) — a értékek felső és alsó határának meghatározása (pl. 1% és 99% percentil szerint).
   • Kiugró értékek helyettesítése — például mediánnal vagy a legközelebbi "normális" értékkel.
   • Robusztus skálázási módszerek alkalmazása — például sklearn-ben a RobustScaler, amely a mediánt és az interkvartilis tartományt használja.

3. Skálázás és normalizálás:

   • A transzformációk után alkalmazható a standardizálás (átlag levonása és szórás szerinti osztás), így a kapott adatoknak nulla átlaguk és egységnyi szórásuk lesz.

Python és sklearn példával:

from sklearn.preprocessing import PowerTransformer, RobustScaler
import numpy as np

# Kiugró értékeket tartalmazó adatok
data = np.array([[1], [2], [3], [4], [100]])

# Transzformáció a normális eloszlás közelítéséhez
pt = PowerTransformer(method='yeo-johnson')
transformed_data = pt.fit_transform(data)

# Skálázás kiugró értékek figyelembevételével
scaler = RobustScaler()
scaled_data = scaler.fit_transform(transformed_data)

print(scaled_data)

Ezzel a transzformációk és robusztus skálázási módszerek kombinációjával a adatok közelebb hozhatók egy normálisabb eloszláshoz, és csökkenthető a szélsőséges értékek hatása.