Как да разберем дали моделът е добър или лош? Какви метрики съществуват и какво означават?

Оценката за качество на модела зависи от задачата (класификация, регресия и т.н.) и целите. Основните метрики:

За задачи по класификация:

• Точност (Accuracy) — дял на правилните предсказания от общия брой. Подходяща при балансирани класове.
• Прецизност (Precision) — дял на правилно предсказаните положителни сред всички предсказани положителни.
• Обхват (Recall) — дял на правилно откритите положителни сред всички реални положителни.
• F1-скор — хармонично средно между прецизност и обхват, балансира ги.
• ROC-AUC — площ под ROC-кривата, показва качеството на разделяне на класовете.

За задачи по регресия:

• MSE (Средна квадратична грешка) — чувствителна към големи отклонения.
• MAE (Средна абсолютна грешка) — по-устойчива към изключения.
• R² (Коефициент на детерминация) — показва колко от вариацията обяснява моделът.

Добър модел е този, който показва високи стойности на метриките за качество (например, висока точност и F1 за класификация, ниски грешки за регресия) на тестовия набор, а не само на обучаващия (за да се избегне пренасищане). Също така е важно да се вземе предвид бизнес контекстът и балансът между метриките (например, понякога е по-важно да се постигне по-висока чувствителност, отколкото точност).