Что такое sequential testing (mSPRT, always valid)?

Sequential testing — это метод статистического тестирования, при котором данные анализируются по мере их поступления, а не после сбора всего объема. Это позволяет принимать решения о значимости эффекта в любой момент времени без необходимости фиксировать заранее размер выборки.

mSPRT (modified Sequential Probability Ratio Test) — модифицированный последовательный критерий отношения правдоподобия, который обеспечивает контроль уровня ошибки первого рода при последовательном анализе данных. Он позволяет проводить тесты с возможностью остановки в любой момент, сохраняя корректность статистических выводов.

Always valid p-values — это p-значения, которые остаются корректными при любом количестве промежуточных проверок данных. Они позволяют проводить множественные проверки без увеличения риска ложноположительных результатов.

Применение sequential testing особенно полезно в A/B тестах и экспериментах, где важно быстро принимать решения и экономить ресурсы, не дожидаясь полного сбора данных.