Что хотят услышать интервьюеры:

Доверительный интервал показывает не точку, а разумный диапазон значений для неизвестного параметра. Он помогает оценить неопределённость результата, а не только его “лучшее” значение. В ML и статистике это особенно важно для сравнения моделей и интерпретации метрик.

Определение:

Доверительный интервал — это интервал значений, построенный по выборке, который с заданной доверительной вероятностью содержит истинный параметр генеральной совокупности.
Например, 95% доверительный интервал для среднего означает, что при многократном повторении эксперимента примерно 95% таких интервалов будут накрывать истинное среднее.

Важно: это не значит, что вероятность того, что параметр лежит внутри конкретного интервала, равна 95%. Параметр либо внутри, либо нет; 95% относится к процедуре построения интервала.

Пример использования:

Допустим, модель показывает точность 0.84 на тестовой выборке, а 95% доверительный интервал для accuracy равен [0.81, 0.87].
Это значит, что оценка точности нестабильна в пределах примерно ±3 процентных пункта, и при сравнении с другой моделью нужно смотреть не только на 0.84, но и на пересечение интервалов.

import numpy as np
from scipy import stats

# Пример: доверительный интервал для среднего
data = np.array([12, 15, 14, 10, 13, 16, 11, 14])

mean = data.mean()
n = len(data)
std = data.std(ddof=1)

confidence = 0.95
alpha = 1 - confidence
t_crit = stats.t.ppf(1 - alpha/2, df=n - 1)

margin = t_crit * std / np.sqrt(n)
ci = (mean - margin, mean + margin)

print("mean:", mean)
print("95% CI:", ci)

Пояснение кода:

Код считает 95% доверительный интервал для среднего по небольшой выборке.

Сначала вычисляется среднее значение выборки.
Затем берётся выборочное стандартное отклонение с поправкой ddof=1, чтобы оценка была несмещённой.
Так как выборка небольшая и дисперсия неизвестна, используется распределение Стьюдента.
Находится критическое значение t для заданного уровня доверия.
По формуле margin = t_crit * std / sqrt(n) вычисляется погрешность оценки.
Итоговый интервал строится как mean ± margin.

Если нужно оценивать не среднее, а, например, долю или метрику модели, формула будет другой, но идея та же: получить диапазон, отражающий неопределённость оценки.

Ключевые моменты:

Доверительный интервал — это диапазон для неизвестного параметра, а не одно число.
Он показывает неопределённость оценки, что особенно важно в статистике и ML.
95% — это характеристика процедуры построения интервала, а не вероятность для конкретного интервала.
Для маленьких выборок часто используют распределение Стьюдента, а не нормальное.
Доверительные интервалы полезны для сравнения моделей, но пересечение интервалов само по себе не является строгим критерием значимости.
Чем больше выборка и меньше разброс, тем уже доверительный интервал.

Что такое доверительный интервал?