Что такое бутстрэпированные выборки в случайном лесу?

В случайном лесу бутстрэпированные выборки — это подвыборки исходных данных, которые формируются методом бутстрэп (bootstrap sampling). Это означает, что для построения каждого дерева в лесу случайным образом выбирается подмножество объектов из обучающей выборки с возвращением (то есть один и тот же объект может попасть в выборку несколько раз).

Такой подход позволяет:

• Уменьшить корреляцию между деревьями,
• Повысить устойчивость и обобщающую способность модели,
• Оценивать ошибку модели на «out-of-bag» (OOB) данных — тех объектах, которые не попали в бутстрэп-выборку для конкретного дерева.

Пример: если у нас есть 1000 объектов, для построения одного дерева случайным образом выбирается 1000 объектов с возвращением, то некоторые объекты могут повторяться, а некоторые — отсутствовать. Эти отсутствующие объекты используются для оценки качества дерева.