Какво е контрастивно търсене при декодиране?

Контрастното търсене е метод за декодиране в генеративните езикови модели, който цели да подобри качеството на генерирания текст чрез баланс между вероятността на токените и разнообразието на изхода. За разлика от жадното търсене или сэмплирането, контрастното търсене се опитва да минимизира повторенията и да избегне твърде предсказуеми или твърде случайни варианти.

Идеята е да се избере следващият токен не само въз основа на максималната вероятност, но и с оглед на контраста между кандидатите, което помага на модела да избегне блокиране или твърде предсказуеми отговори. Това се постига чрез оценка на кандидатите по два критерия: вероятност и степен на разнообразие спрямо вече генерираните токени.

Алгоритъмът работи приблизително така:

• Генерират се множество кандидати за следващия токен.
• За всеки кандидат се изчислява скор, който взема предвид вероятността и мярката за разнообразие спрямо предишните токени.
• Избира се кандидатът с най-добър баланс между вероятност и разнообразие.

Това позволява да се получи по-свързан и разнообразен текст, отколкото при класическото жадно търсене, и по-управляем, отколкото при случайното сэмплиране.