Ako normalizovať číselné hodnoty a minimalizovať vplyv odľahlých hodnôt?

Na normalizáciu číselných údajov a minimalizáciu vplyvu odľahlých hodnôt sa používajú rôzne prístupy:

1. Transformácie údajov:

   • Logaritmická transformácia (log(x)) — znižuje asymetriu a stláča veľké hodnoty.
   • Druhá odmocnina alebo inverzná transformácia — tiež pomáhajú normalizovať rozdelenie.
   • Box-Cox transformácia — parametrická, hľadá optimálny parameter na priblíženie k normálnemu rozdeleniu.
   • Yeo-Johnson transformácia — podobná Box-Cox, funguje aj s negatívnymi hodnotami.

2. Zaobchádzanie s odľahlými hodnotami:

   • Orezanie (capping) — obmedzuje hodnoty na percentily 1% a 99%, napríklad.
   • Nahradenie odľahlých hodnôt — napríklad mediánom alebo najbližšou "normálnou" hodnotou.
   • Použitie robustných metód škálovania — napríklad RobustScaler v sklearn, ktorý využíva medián a medzikvartilový rozsah.

3. Škálovanie a normalizácia:

   • Po transformáciách možno použiť štandardizáciu (odčítanie priemeru a delenie štandardnou odchýlkou) na získanie údajov s nulovým priemerom a jednotkovou dispersiou.

Príklad s Pythonom a knižnicou sklearn:

from sklearn.preprocessing import PowerTransformer, RobustScaler
import numpy as np

# Príklad údajov s odľahlými hodnotami
data = np.array([[1], [2], [3], [4], [100]])

# Transformácia na priblíženie k normálnemu rozdeleniu
pt = PowerTransformer(method='yeo-johnson')
transformované_data = pt.fit_transform(data)

# Škálovanie s ohľadom na odľahlé hodnoty
scaler = RobustScaler()
škálované_data = scaler.fit_transform(transformované_data)

print(škálované_data)

Týmto spôsobom, kombináciou transformácií a robustných metód škálovania, je možné priblížiť údaje k normálnejšiemu rozdeleniu a znížiť vplyv extrémnych hodnôt.