Kuidas normaliseerida arvväärtusi ja minimeerida kõrvalekallete mõju?

Lai datus padarītu par normālu sadalījumu un samazinātu izņēmuma vērtību ietekmi, tiek izmantotas vairākas pieejas:

1. Datu transformācijas:

   • Dabiskā logaritmiskā transformācija (log(x)) — samazina asimetriju un saspiest lielas vērtības.
   • Kvadrātsakne vai atgrieztā transformācija — arī palīdz normalizēt sadalījumu.
   • Box-Cox transformācija — parametriska, izvēlas optimālo parametru tuvināšanai normālajam sadalījumam.
   • Yeo-Johnson transformācija — līdzīga Box-Cox, darbojas arī ar negatīvām vērtībām.

2. Izņēmuma vērtību apstrāde:

   • Apkapsēšana (capping) — vērtību ierobežošana virs un zem (piemēram, 1% un 99% percentilos).
   • Izņēmuma vērtību aizvietošana — piemēram, ar mediānu vai tuvāko "normālo" vērtību.
   • Stipru mērogošanas metožu izmantošana — piemēram, sklearn bibliotekas RobustScaler, kas izmanto mediānu un kvartilu starpību.

3. Mērogošana un normalizācija:

   • Pēc transformācijām var piemērot standartizāciju (vidējās vērtības atņemšanu un standartnovirzes dalīšanu), lai iegūtu datus ar nulles vidējo un vienādu dispersiju.

Piemērs, izmantojot Python un sklearn bibliotēku:

from sklearn.preprocessing import PowerTransformer, RobustScaler
import numpy as np

# Datu ar izņēmuma vērtībām piemērs
data = np.array([[1], [2], [3], [4], [100]])

# Transformācija, lai tuvinātos normālajam sadalījumam
pt = PowerTransformer(method='yeo-johnson')
ndata_transformed = pt.fit_transform(data)

# Mērogošana, ņemot vērā izņēmuma vērtības
scaler = RobustScaler()
ndata_scaled = scaler.fit_transform(data_transformed)

print(data_scaled)

Tādējādi, apvienojot transformācijas un izņēmuma vērtību apstrādes metodes, var panākt datu tuvāku normālajam sadalījumam un samazināt ekstremālo vērtību ietekmi.