Kas ir kontrastīvā meklēšana dekodēšanā?

Kontrastīvā meklēšana ir dekodēšanas metode ģeneratīvajos valodu modeļos, kas mērķē uz generētā teksta kvalitātes uzlabošanu, līdzsvarojot tokenu iespējamību un iznākuma daudzveidību. Atšķirībā no alkatīgas meklēšanas vai paraugu ņemšanas, kontrastīvā meklēšana cenšas maksimāli samazināt atkārtojumus un izvairīties no pārāk prognozējamiem vai pārāk nejaušiem variantiem.

Ideja ir izvēlēties nākamo tokenu ne tikai pēc maksimālās iespējamības, bet arī ņemot vērā kandidātu kontrastu, kas palīdz modelim izvairīties no iestrigšanas vai pārāk prognozējamiem atbildēm. To panāk, novērtējot kandidātus pēc diviem kritērijiem: iespējamības un daudzveidības pakāpes salīdzinājumā ar jau ģenerētajiem tokeniem.

Algoritms darbojas aptuveni šādi:

• Tiek ģenerēti vairāki kandidāti nākamajam tokenam.
• Katram kandidātam tiek aprēķināts punktu skaits, ņemot vērā iespējamību un daudzveidības mēru, salīdzinot ar iepriekšējiem tokeniem.
• Tiek izvēlēts kandidāts ar labāko līdzsvaru starp iespējamību un daudzveidību.

Tas ļauj iegūt koherentāku un daudzveidīgāku tekstu nekā klasiskā alkatīgā meklēšana, un lielāku kontroli nekā nejaušā paraugu ņemšana.