Что такое бутстреп?

Бутстреп (bootstrap) — это статистический метод, используемый для оценки распределения статистики (например, среднего, медианы, коэффициента корреляции) путем многократного случайного повторного выборочного отбора из исходных данных с возвращением.

В машинном обучении бутстреп часто применяется для оценки надежности моделей, построения доверительных интервалов и в ансамблевых методах, например, в случайных лесах, где создаются разные подвыборки данных для обучения отдельных деревьев.

Пример простого бутстрепа для оценки среднего:

import numpy as np

data = np.array([1, 2, 3, 4, 5])
boot_means = []
for _ in range(1000):
    sample = np.random.choice(data, size=len(data), replace=True)
    boot_means.append(np.mean(sample))

# Оценка среднего и доверительного интервала
mean_estimate = np.mean(boot_means)
conf_interval = np.percentile(boot_means, [2.5, 97.5])
print(f"Среднее: {mean_estimate}, 95% доверительный интервал: {conf_interval}")