Что хотят услышать интервьюеры:

Нужно показать, что для приведения данных к более “нормальному” виду обычно используют преобразования распределения, а для снижения влияния выбросов — робастные методы масштабирования и обработки экстремальных значений. Важно понимать, что не всегда надо делать данные строго нормальными: часто задача — уменьшить асимметрию и сделать признаки устойчивее для модели. Также полезно упомянуть проверку распределения до и после преобразования.

Определение:

Чтобы приблизить числовые значения к нормальному распределению, применяют преобразования, которые уменьшают перекос и стабилизируют дисперсию: логарифмирование, Box-Cox, Yeo-Johnson, корневые преобразования.
Чтобы минимизировать влияние выбросов, используют робастное масштабирование по медиане и межквартильному размаху, а также клиппинг, winsorization или отдельную обработку аномалий.
Выбор метода зависит от того, есть ли нули и отрицательные значения, насколько сильны выбросы и какой алгоритм дальше будет обучаться.

Пример использования:

Допустим, есть признак income, где большинство значений умеренные, но есть редкие очень большие доходы. Логарифмирование уменьшит перекос вправо, а RobustScaler сделает масштаб устойчивее к экстремальным значениям.

import numpy as np
from sklearn.preprocessing import RobustScaler

income = np.array([[10_000], [12_000], [15_000], [20_000], [1_000_000]])

# Преобразование для уменьшения асимметрии
income_log = np.log1p(income)

# Робастное масштабирование
scaler = RobustScaler()
income_scaled = scaler.fit_transform(income_log)

print(income_log.ravel())
print(income_scaled.ravel())

Пояснение кода:

Сначала применяется np.log1p, потому что это удобный вариант логарифмирования для данных с нулями: он считает log(1 + x) и не падает на нулевых значениях. Это снижает влияние очень больших чисел и делает распределение более “сжатым”.
Затем RobustScaler центрирует данные по медиане и масштабирует через межквартильный размах, поэтому редкие выбросы меньше искажают итоговую шкалу.
Если в данных есть отрицательные значения, логарифмирование уже не подойдет, и тогда обычно выбирают Yeo-Johnson или другой робастный подход.

Ключевые моменты:

Для приближения к нормальному распределению чаще всего используют логарифм, Box-Cox или Yeo-Johnson.
Для устойчивости к выбросам лучше подходят медиана, IQR и RobustScaler, а не стандартное StandardScaler.
Логарифм полезен при правосторонней асимметрии и больших положительных значениях.
Если есть нули или отрицательные значения, логарифм и Box-Cox могут быть неприменимы.
Сначала стоит посмотреть на распределение, потом выбрать преобразование, а не применять его “наугад”.
Иногда лучше не “нормализовать до нормы”, а просто сделать признаки устойчивыми для конкретной модели.

Как привести числовые значения к нормальному распределению и минимизировать влияние выбросов?