Как оценить качество суммаризации?

Качество суммаризации оценивается с помощью нескольких метрик, которые сравнивают сгенерированное резюме с эталонным (референсным) текстом:

• ROUGE (Recall-Oriented Understudy for Gisting Evaluation) — наиболее популярный набор метрик, измеряющий совпадения n-грамм, последовательностей и лексических единиц между суммаризацией и эталоном.
• BLEU — изначально для машинного перевода, иногда применяется для оценки точности суммаризации.
• METEOR — учитывает синонимы и морфологию, улучшая оценку качества.

Кроме автоматических метрик, важна и человеческая оценка по критериям:

• Информативность — насколько резюме отражает ключевые идеи исходного текста.
• Когерентность — насколько связно и понятно построено резюме.
• Фактическая точность — отсутствие искажений и ошибок.

Пример использования ROUGE в Python с библиотекой rouge-score:

from rouge_score import rouge_scorer

scorer = rouge_scorer.RougeScorer(['rouge1', 'rougeL'], use_stemmer=True)
reference = "Это эталонное резюме текста."
candidate = "Это сгенерированное резюме."
scores = scorer.score(reference, candidate)
print(scores)