Чем отличаются Random Forest и Gradient Boosting?

Random Forest и Gradient Boosting — это ансамблевые методы машинного обучения, основанные на деревьях решений, но с разными подходами к построению модели.

Random Forest:

• Строит множество независимых деревьев на случайных подвыборках данных и признаков.
• Итоговый прогноз — усреднение (для регрессии) или голосование (для классификации) по деревьям.
• Основная идея — уменьшить переобучение за счёт случайности и усреднения.
• Обучение деревьев происходит параллельно.

Gradient Boosting:

• Строит деревья последовательно, каждое новое дерево обучается на ошибках предыдущих.
• Использует градиентный спуск для минимизации функции потерь.
• Позволяет строить более точные модели, но более подвержен переобучению.
• Обучение последовательное, что может быть медленнее.

В итоге Random Forest проще в настройке и более устойчив к переобучению, а Gradient Boosting обычно даёт лучшие результаты при тщательной настройке и большем времени обучения.