Cos'è la ricerca contrastiva nella decodifica?
sobes.tech AI
Risposta dell'AI
La ricerca contrastiva è un metodo di decodifica nei modelli di linguaggio generativi, volto a migliorare la qualità del testo generato bilanciando tra la probabilità dei token e la diversità dell'output. A differenza della ricerca greedy o del sampling, la ricerca contrastiva cerca di minimizzare le ripetizioni ed evitare opzioni troppo prevedibili o troppo casuali.
L'idea è di scegliere il prossimo token non solo in base alla probabilità massima, ma anche considerando il contrasto tra i candidati, il che aiuta il modello a evitare risposte bloccate o troppo prevedibili. Ciò si ottiene valutando i candidati secondo due criteri: probabilità e grado di diversità rispetto ai token già generati.
L'algoritmo funziona circa così:
- Vengono generati più candidati per il prossimo token.
- Per ogni candidato, si calcola un punteggio che tiene conto della probabilità e della misura di diversità rispetto ai token precedenti.
- Si sceglie il candidato con il miglior equilibrio tra probabilità e diversità.
Questo permette di ottenere un testo più coerente e diversificato rispetto alla ricerca greedy classica, e più controllabile rispetto al sampling casuale.