Что такое ошибка первого рода (альфа) и ошибка второго рода (бета)?

Ошибка первого рода (альфа) — это ложное срабатывание теста, когда мы отвергаем нулевую гипотезу, хотя она верна. Проще говоря, мы считаем, что есть эффект, когда его на самом деле нет.

Ошибка второго рода (бета) — это пропуск эффекта, когда мы не отвергаем нулевую гипотезу, хотя она ложна. То есть мы не замечаем реальный эффект.

Например, при тестировании новой функции на сайте:

• Ошибка первого рода — мы думаем, что новая функция улучшила конверсию, хотя на самом деле изменений нет.
• Ошибка второго рода — мы не замечаем, что функция действительно улучшила конверсию.