Jak normalizovat číselné hodnoty a minimalizovat vliv odlehlých hodnot?

Pro normalizaci dat číselných údajů a minimalizaci vlivu odlehlých hodnot se používá několik přístupů:

1. Transformace dat:

   • Logaritmická transformace (log(x)) — snižuje asymetrii a stlačuje velké hodnoty.
   • Druhá odmocnina nebo inverzní transformace — také pomáhají normalizovat rozdělení.
   • Box-Cox transformace — parametrická, hledá optimální parametr pro přiblížení k normálnímu rozdělení.
   • Yeo-Johnson transformace — podobná Box-Cox, funguje i s zápornými hodnotami.

2. Zpracování odlehlých hodnot:

   • Omezení (capping) — omezení hodnot shora a zdola (například podle percentilů 1 % a 99 %).
   • Nahrazení odlehlých hodnot — například mediánem nebo nejbližší "normální" hodnotou.
   • Použití robustních metod škálování — například RobustScaler v sklearn, který používá medián a mezikvartilní rozptyl.

3. Škálování a normalizace:

   • Po transformacích lze použít standardizaci (odečtení průměru a dělení standardní odchylkou) pro získání dat s nulovým průměrem a jednotkovým rozptylem.

Příklad s Pythonem a knihovnou sklearn:

from sklearn.preprocessing import PowerTransformer, RobustScaler
import numpy as np

# Příklad dat s odlehlými hodnotami
data = np.array([[1], [2], [3], [4], [100]])

# Transformace pro přiblížení k normálnímu rozdělení
pt = PowerTransformer(method='yeo-johnson')
transformovaná_data = pt.fit_transform(data)

# Škálování s ohledem na odlehlé hodnoty
scaler = RobustScaler()
škálovaná_data = scaler.fit_transform(transformovaná_data)

print(škálovaná_data)

Tímto způsobem lze kombinací transformací a robustních metod škálování přiblížit data k normálnějšímu rozdělení a snížit vliv extrémních hodnot.