Əgər yeni modelin AUC-si 0.82, köhnə modelə qarşı 0.80-dirsə, yeni modelin daha yaxşı olduğunu güvənlə deyə bilərikmi? Statistik əhəmiyyətini necə yoxlamaq olar?

Разница в AUC между 0.82 и 0.80 не обязательно означает, что новая модель статистически значимо лучше продовой. Для уверенного вывода нужно проверить статистическую значимость разницы.

Как проверить:

1. Статистический тест — например, DeLong test, который сравнивает ROC-кривые двух моделей на одном и том же наборе данных.
2. Bootstrap — многократное случайное выборочное повторение с вычислением AUC, чтобы получить распределение и доверительные интервалы для каждой модели, затем проверить, пересекаются ли интервалы.

Если p-значение теста меньше выбранного уровня значимости (например, 0.05), можно считать, что новая модель статистически значимо лучше.

Без такой проверки нельзя с уверенностью утверждать, что 0.82 лучше 0.80, так как разница может быть вызвана случайностью.