Quelle est l'idée fondamentale derrière les méthodes d'ensemble ? Quels types d'ensembles connaissez-vous ?

Ансамблевые методы основаны на идее объединения нескольких моделей для улучшения качества предсказаний по сравнению с отдельной моделью. Основная идея — за счёт разнообразия моделей и их объединения снизить ошибку и повысить устойчивость.

Основные виды ансамблей:

• Bagging (Bootstrap Aggregating): обучает несколько моделей на разных случайных подвыборках данных с возвращением, затем усредняет или голосует. Пример — случайный лес.
• Boosting: модели обучаются последовательно, каждая следующая исправляет ошибки предыдущих. Пример — AdaBoost, Gradient Boosting.
• Stacking: объединение разных моделей с помощью мета-модели, которая учится на выходах базовых моделей.

Ансамбли помогают уменьшить переобучение и повысить точность за счёт комбинирования сильных сторон разных моделей.