Mi az a kontrasztív keresés a dekódolásban?

A kontrasztív keresés egy dekódolási módszer a generatív nyelvi modellekben, amelynek célja a generált szöveg minőségének javítása a tokenek valószínűsége és a kimenet sokfélesége közötti egyensúly megteremtésével. A mohó kereséssel vagy mintavételezéssel szemben a kontrasztív keresés megpróbálja minimalizálni az ismétléseket és elkerülni a túl előrejelezhető vagy túl véletlenszerű lehetőségeket.

Az ötlet az, hogy a következő tokent ne csak a maximális valószínűség alapján válasszuk ki, hanem figyelembe véve a jelöltek közötti kontrasztot is, ami segít a modellnek elkerülni a beragadást vagy túl előrejelezhető válaszokat. Ez úgy érhető el, hogy a jelölteket két kritérium szerint értékeljük: a valószínűség és a sokféleség mértéke a már generált tokenekhez képest.

Az algoritmus nagyjából így működik:

• Több jelöltet generálunk a következő tokenhez.
• Minden jelölt esetében kiszámítunk egy pontszámot, amely figyelembe veszi a valószínűséget és a sokféleség mértékét a korábbi tokenekhez képest.
• A legjobb egyensúlyt biztosító jelöltet választjuk.

Ez lehetővé teszi, hogy koherensebb és változatosabb szöveget kapjunk, mint a klasszikus mohó keresés esetén, és nagyobb kontrollt biztosít, mint a véletlenszerű mintavételezés.