Wenn der AUC eines neuen Modells 0,82 im Vergleich zu 0,80 beim alten Modell beträgt, kann man dann mit Sicherheit sagen, dass das neue besser ist? Wie überprüft man die statistische Signifikanz?

Разница в AUC между 0.82 и 0.80 не обязательно означает, что новая модель статистически значимо лучше продовой. Для уверенного вывода нужно проверить статистическую значимость разницы.

Как проверить:

1. Статистический тест — например, DeLong test, который сравнивает ROC-кривые двух моделей на одном и том же наборе данных.
2. Bootstrap — многократное случайное выборочное повторение с вычислением AUC, чтобы получить распределение и доверительные интервалы для каждой модели, затем проверить, пересекаются ли интервалы.

Если p-значение теста меньше выбранного уровня значимости (например, 0.05), можно считать, что новая модель статистически значимо лучше.

Без такой проверки нельзя с уверенностью утверждать, что 0.82 лучше 0.80, так как разница может быть вызвана случайностью.