Что хотят услышать интервьюеры:

Случайный лес сам по себе плохо экстраполирует за пределы обучающего диапазона, и простая нормализация это не исправляет. Важно понимать, что масштабирование признаков может помочь численно, но не добавляет модели способности предсказывать значения вне seen-range. Хороший ответ должен показать, что нормализация может даже скрыть проблему, если не проверять распределение и границы признаков.

Определение:

Случайный лес — это ансамбль деревьев решений, а деревья принимают решения по порогам, поэтому их предсказания обычно ограничены значениями и диапазонами, которые были в обучающих данных. Нормализация приводит признаки к общему масштабу, но не меняет саму природу модели: она по-прежнему интерполирует внутри наблюденного пространства и слабо умеет экстраполировать. Подводные камни возникают, когда ожидают, что масштабирование решит проблему, хотя на самом деле нужно менять постановку задачи, признаки или модель.

Пример использования:

Допустим, модель обучили предсказывать цену квартиры по площади в диапазоне 20–120 м², а затем подали объект 200 м². После нормализации площадь станет числом в удобном масштабе, но для случайного леса это всё равно будет значение вне тренировочного диапазона. Модель, скорее всего, выберет последний доступный лист и даст оценку, близкую к максимальным наблюдавшимся значениям, а не действительно экстраполирует.

from sklearn.ensemble import RandomForestRegressor
from sklearn.preprocessing import MinMaxScaler
from sklearn.pipeline import make_pipeline

X_train = [[20], [40], [60], [80], [100], [120]]
y_train = [2, 4, 6, 8, 10, 12]

model = make_pipeline(
    MinMaxScaler(),
    RandomForestRegressor(n_estimators=100, random_state=42)
)

model.fit(X_train, y_train)

print(model.predict([[200]]))

Пояснение кода:

В примере используется MinMaxScaler, чтобы привести площадь к диапазону, близкому к [0, 1], и затем обучается RandomForestRegressor. При предсказании для 200 м² значение признака окажется выше обучающего максимума, но дерево решений всё равно будет работать по уже построенным порогам. Это показывает, что нормализация не решает проблему экстраполяции, а лишь унифицирует шкалу входов.

Ключевые моменты:

Нормализация полезна для приведения признаков к одному масштабу, но не делает случайный лес экстраполирующей моделью.
Для деревьев решений линейные преобразования признаков обычно не дают принципиального выигрыша в способности предсказывать вне диапазона.
Опасно считать, что проблема экстраполяции — это проблема масштаба; чаще это ограничение самой архитектуры модели.
После нормализации нужно отдельно проверять, выходят ли новые данные за пределы обучающих значений.
Если важна экстраполяция, стоит рассматривать другие подходы: линейные/регрессионные модели, гибридные модели, добавление доменных признаков или постобработку предсказаний.

Какие подводные камни могут быть при нормализации данных для решения проблемы экстраполяции в случайном лесу?