Какие метрики оценки диалогов (BLEU, perplexity, human eval)?

BLEU (Bilingual Evaluation Understudy) — автоматическая метрика, изначально разработанная для оценки качества машинного перевода. Она сравнивает n-граммы с эталонным ответом, измеряя схожесть. В диалогах BLEU помогает оценить, насколько сгенерированный ответ близок к ожидаемому, но не учитывает контекст и разнообразие ответов.

Perplexity — метрика, показывающая, насколько хорошо языковая модель предсказывает последовательность слов. Чем ниже perplexity, тем лучше модель предсказывает текст. В диалогах perplexity отражает способность модели генерировать вероятные и естественные ответы.

Human evaluation (оценка человеком) — субъективная оценка качества диалогов, где эксперты или пользователи оценивают ответы по таким критериям, как релевантность, информативность, естественность и последовательность. Это наиболее надежный способ оценки, так как автоматические метрики не всегда отражают качество диалога с точки зрения человека.