Čo je kontrastívne vyhľadávanie pri dekódovaní?

Kontrastívne vyhľadávanie je metóda dekódovania v generatívnych jazykových modeloch, ktorej cieľom je zlepšiť kvalitu generovaného textu vyvážením medzi pravdepodobnosťou tokenov a rozmanitosťou výstupu. Na rozdiel od žravého vyhľadávania alebo vzorkovania sa kontrastívne vyhľadávanie snaží minimalizovať opakovania a vyhýbať sa príliš predvídateľným alebo príliš náhodným možnostiam.

Myšlienka je vybrať nasledujúci token nielen na základe maximálnej pravdepodobnosti, ale aj s ohľadom na kontrast medzi kandidátmi, čo pomáha modelu vyhnúť sa zaseknutiu alebo príliš predvídateľným odpovediam. Toho sa dosahuje hodnotením kandidátov podľa dvoch kritérií: pravdepodobnosti a miery rozmanitosti vzhľadom na už generované tokeny.

Algoritmus funguje približne takto:

• Generuje sa viac kandidátov na ďalší token.
• Pre každého kandidáta sa vypočíta skóre, ktoré zohľadňuje pravdepodobnosť a mieru rozmanitosti vzhľadom na predchádzajúce tokeny.
• Vyberie sa kandidát s najlepším vyvážením medzi pravdepodobnosťou a rozmanitosťou.

Toto umožňuje získať koherentnejší a rozmanitejší text ako pri klasickom žravom vyhľadávaní, a väčšiu kontrolu ako pri náhodnom vzorkovaní.