Как определяются thresholds для расчёта ROC-AUC?

Thresholds для расчёта ROC-AUC — это пороговые значения вероятности или оценки модели, при которых классификатор решает, к какому классу отнести объект.

Для построения ROC-кривой пороги выбираются из диапазона возможных значений предсказанных вероятностей (обычно от 0 до 1). На каждом пороге вычисляются значения True Positive Rate (TPR) и False Positive Rate (FPR).

Чаще всего thresholds формируются как уникальные значения предсказанных вероятностей на тестовом наборе, отсортированные по убыванию. Это позволяет оценить качество классификации при разных уровнях чувствительности и специфичности.

Примерный алгоритм:

1. Получить предсказанные вероятности для всех объектов.
2. Отсортировать уникальные значения вероятностей.
3. Использовать каждое значение как порог, классифицируя объекты с вероятностью выше порога как положительные.
4. Рассчитать TPR и FPR для каждого порога.

На основе этих точек строится ROC-кривая, а площадь под ней (AUC) служит метрикой качества модели.