Sobes.tech
Middle — Senior
41

Как происходит расчёт ROC-AUC? Опишите алгоритм пошагово.

Answer from AI

sobes.tech AI

ROC-AUC (Receiver Operating Characteristic - Area Under Curve) — это метрика качества бинарной классификации, отражающая способность модели различать классы.

Алгоритм расчёта ROC-AUC:

  1. Сортировка: Отсортировать все объекты по предсказанным вероятностям принадлежности к положительному классу в порядке убывания.
  2. Построение ROC-кривой:
    • Идти по отсортированному списку, на каждом шаге считать:
      • True Positive Rate (TPR) = TP / (TP + FN)
      • False Positive Rate (FPR) = FP / (FP + TN)
    • TP, FP, FN, TN обновляются по мере прохождения порога (каждого значения вероятности).
  3. Площадь под кривой:
    • Вычислить площадь под ROC-кривой, например, методом трапеций, интегрируя TPR по FPR.

Итоговое значение ROC-AUC — это число от 0 до 1, где 1 означает идеальную классификацию, 0.5 — случайное угадывание.

Пример:

  • Есть 5 объектов с вероятностями и метками:
    • (0.9, 1), (0.8, 0), (0.7, 1), (0.4, 0), (0.3, 1)
  • Сортируем по вероятности: 0.9(1), 0.8(0), 0.7(1), 0.4(0), 0.3(1)
  • Для каждого порога считаем TPR и FPR, строим точки ROC и считаем площадь.