Что такое statistical power?

Statistical power — это вероятность правильно отвергнуть нулевую гипотезу, когда альтернативная гипотеза истинна, то есть вероятность обнаружить реальный эффект в данных. В контексте A/B-тестов высокая статистическая мощность означает, что тест способен выявить значимые различия между вариантами, если они действительно есть. Низкая мощность увеличивает риск ошибки второго рода — не заметить существующее отличие. Для повышения power можно увеличить размер выборки, уменьшить вариативность данных или увеличить эффект, который пытаемся обнаружить.