Как сравнивать ответ модели с эталоном (ground truth) в бенчмарке? Какую метрику использовать?

Для сравнения ответа модели с эталоном (ground truth) в бенчмарке выбор метрики зависит от типа задачи:

• Для задач классификации часто используют Accuracy, Precision, Recall, F1-score.
• Для задач регрессии — среднеквадратичную ошибку (MSE), среднюю абсолютную ошибку (MAE).
• Для задач обработки естественного языка — BLEU, ROUGE, METEOR.

Например, если модель классифицирует тексты по категориям, то F1-score хорошо балансирует между точностью и полнотой, особенно при несбалансированных классах.

Важно выбирать метрику, которая отражает бизнес-цели и специфику задачи, чтобы оценка была максимально релевантной.