Какво е доверителен интервал?

Интервалът на доверие (confidence interval) е диапазон от стойности, който с дадена вероятност (например, 95%) съдържа истинската стойност на параметъра в общата популация. В контекста на A/B тестовете, той помага да се оцени колко надеждни са получените резултати и до каква степен могат да бъдат обобщени за цялата аудитория.

Например, ако измерваме разликата в конверсията между две варианта и получим 95% доверителен интервал от 1% до 5%, това означава, че с вероятност 95% истинското подобрение в конверсията е в този диапазон. Ако интервалът включва 0, може да няма статистически значима разлика.