Что такое diverse beam search?

Diverse Beam Search — это модификация классического алгоритма beam search, используемого для генерации последовательностей (например, в языковых моделях).

Основная идея — повысить разнообразие генерируемых вариантов, чтобы избежать слишком похожих или повторяющихся результатов.

Как это работает:

• Вместо того, чтобы просто выбирать топ-N наиболее вероятных продолжений, beam разбивается на несколько групп (diverse groups).
• В каждой группе выбираются лучшие кандидаты с учётом штрафа за схожесть с уже выбранными в других группах.
• Это стимулирует поиск разнообразных путей, а не только самых вероятных.

Применение diverse beam search полезно, когда нужно получить несколько качественных, но отличающихся друг от друга вариантов, например, в задачах диалога, перевода или творческой генерации текста.