Что такое блендинг?

Блендинг (blending) в машинном обучении — это техника ансамблирования моделей, при которой несколько различных моделей обучаются на тренировочных данных, а затем их предсказания комбинируются с помощью мета-модели (обычно простой модели, например, линейной регрессии) для улучшения качества итогового прогноза.

Отличие блендинга от стекинга в том, что при блендинге обычно используется отдельный holdout-набор для обучения мета-модели, чтобы избежать переобучения, а при стекинге применяется кросс-валидация для генерации обучающих данных для мета-модели.

Пример: у вас есть три модели — дерево решений, логистическая регрессия и SVM. Вы обучаете их на тренировочных данных, затем на отдельном holdout-наборе собираете их предсказания и обучаете на них простую модель, которая и выдает итоговый прогноз.