Что такое confidence interval?

Доверительный интервал (confidence interval) — это диапазон значений, который с заданной вероятностью (например, 95%) содержит истинное значение параметра в генеральной совокупности. В контексте A/B-тестов он помогает оценить, насколько надежны полученные результаты и насколько они могут быть обобщены на всю аудиторию.

Например, если мы измеряем разницу в конверсии между двумя вариантами и получаем 95% доверительный интервал от 1% до 5%, это значит, что с вероятностью 95% истинное улучшение конверсии лежит в этом диапазоне. Если интервал включает 0, то статистической значимой разницы может не быть.