Какво е статистическа мощност?

Статистическата мощност е вероятността правилно да отхвърлим нулевата хипотеза, когато алтернативната хипотеза е вярна, то есть вероятността да открием реален ефект в данните. В контекста на A/B тестовете, високата статистическа мощност означава, че тестът е способен да открие значими разлики между вариантите, ако те наистина съществуват. Ниската мощност увеличава риска от грешка от втори тип — да не забележим съществуваща разлика. За повишаване на мощността може да се увеличи размерът на извадката, да се намали вариабилността на данните или да се увеличи ефектът, който се опитваме да открием.