Comment normaliser les valeurs numériques et minimiser l'impact des valeurs aberrantes?

Pour normaliser les données numériques et minimiser l’impact des valeurs aberrantes, plusieurs approches sont utilisées :

1. Transformations de données :

   • Transformation logarithmique (log(x)) — réduit l’asymétrie et compresse les grandes valeurs.
   • Racine carrée ou transformation inverse — aident également à normaliser la distribution.
   • Transformation Box-Cox — paramétrique, ajuste le paramètre optimal pour se rapprocher d’une distribution normale.
   • Transformation Yeo-Johnson — similaire à Box-Cox, fonctionne avec des valeurs négatives.

2. Gestion des valeurs aberrantes :

   • Capping — limite les valeurs aux percentiles 1% et 99%, par exemple.
   • Remplacement des valeurs aberrantes — par exemple, par la médiane ou la valeur "normale" la plus proche.
   • Utilisation de méthodes robustes de mise à l’échelle — par exemple, RobustScaler dans sklearn, qui utilise la médiane et l’étendue interquartile.

3. Mise à l’échelle et normalisation :

   • Après les transformations, on peut appliquer la standardisation (soustraction de la moyenne et division par l’écart-type) pour obtenir des données avec une moyenne de zéro et une variance unitaire.

Exemple avec Python et la bibliothèque sklearn :

from sklearn.preprocessing import PowerTransformer, RobustScaler
import numpy as np

# Données d’exemple avec valeurs aberrantes
data = np.array([[1], [2], [3], [4], [100]])

# Transformation pour se rapprocher d’une distribution normale
pt = PowerTransformer(method='yeo-johnson')
data_transformed = pt.fit_transform(data)

# Mise à l’échelle en tenant compte des valeurs aberrantes
scaler = RobustScaler()
data_scaled = scaler.fit_transform(data_transformed)

print(data_scaled)

Ainsi, en combinant transformations et méthodes de gestion des valeurs aberrantes, on peut rapprocher les données d’une distribution plus normale et réduire l’impact des valeurs extrêmes.