Что такое stacking и blending? Как избегать leakage в стекинге?

Stacking и blending — это методы ансамблирования моделей, которые позволяют улучшить качество предсказаний за счёт объединения нескольких моделей.

• Stacking — обучение мета-модели на выходах базовых моделей. Обычно процесс включает:

  1. Обучение нескольких базовых моделей на тренировочных данных.
  2. Получение предсказаний этих моделей на валидационных данных (кросс-валидация).
  3. Обучение мета-модели на этих предсказаниях.

• Blending — похож на stacking, но мета-модель обучается на отдельном holdout-наборе данных, а не на кросс-валидационных предсказаниях.

Leakage (утечка данных) в стекинге возникает, если мета-модель обучается на предсказаниях базовых моделей, которые были получены на тех же данных, на которых эти модели обучались. Это приводит к переобучению и завышенной оценке качества.

Чтобы избежать leakage:

• Используйте кросс-валидацию для генерации предсказаний базовых моделей на данных, не использованных при их обучении.
• Для каждого фолда обучайте базовые модели на тренировочной части и предсказывайте на валидационной.
• Собирайте предсказания для всего тренировочного набора таким образом, чтобы ни одна точка не была предсказана моделью, обученной на ней же.

Это гарантирует, что мета-модель обучается на честных предсказаниях, а не на переобученных.