Что такое reference-free и reference-based метрики?

Reference-based метрики в машинном обучении и обработке естественного языка — это методы оценки качества модели, которые требуют эталонного (reference) ответа или набора ответов для сравнения. Например, в задачах машинного перевода или генерации текста часто используют BLEU, ROUGE, METEOR — они сравнивают сгенерированный текст с эталонным.

Reference-free метрики (также называемые безэталонными) оценивают качество вывода модели без прямого сравнения с эталонным ответом. Они могут использовать внутренние признаки текста, языковые модели или другие эвристики для оценки качества. Такие метрики полезны, когда эталонные данные отсутствуют или ограничены.

Пример: для оценки диалоговых систем reference-free метрики могут оценивать связность, релевантность и грамматичность ответа без эталонного варианта, тогда как reference-based метрики требуют заранее подготовленных правильных ответов.