Ak je AUC nového modelu 0,82 oproti 0,80 u starom — možemo li sa sigurnošću reći da je novi bolji? Kako proveriti statističku značajnost?

Разница в AUC между 0.82 и 0.80 не обязательно означает, что новая модель статистически значимо лучше продовой. Для уверенного вывода нужно проверить статистическую значимость разницы.

Как проверить:

1. Статистический тест — например, DeLong test, который сравнивает ROC-кривые двух моделей на одном и том же наборе данных.
2. Bootstrap — многократное случайное выборочное повторение с вычислением AUC, чтобы получить распределение и доверительные интервалы для каждой модели, затем проверить, пересекаются ли интервалы.

Если p-значение теста меньше выбранного уровня значимости (например, 0.05), можно считать, что новая модель статистически значимо лучше.

Без такой проверки нельзя с уверенностью утверждать, что 0.82 лучше 0.80, так как разница может быть вызвана случайностью.