O que é a pesquisa contrastiva na decodificação?

A pesquisa contrastiva é um método de decodificação em modelos de linguagem generativos, que visa melhorar a qualidade do texto gerado equilibrando a probabilidade dos tokens e a diversidade da saída. Ao contrário da busca gananciosa ou do amostragem, a pesquisa contrastiva tenta minimizar repetições e evitar opções demasiado previsíveis ou demasiado aleatórias.

A ideia é escolher o próximo token não apenas com base na probabilidade máxima, mas também considerando o contraste entre os candidatos, o que ajuda o modelo a evitar respostas estagnadas ou excessivamente previsíveis. Isso é alcançado avaliando os candidatos com base em dois critérios: probabilidade e grau de diversidade em relação aos tokens já gerados.

O algoritmo funciona aproximadamente assim:

• São gerados múltiplos candidatos para o próximo token.
• Para cada candidato, é calculada uma pontuação que leva em conta a probabilidade e a medida de diversidade em relação aos tokens anteriores.
• O candidato com o melhor equilíbrio entre probabilidade e diversidade é selecionado.

Isso permite obter um texto mais coerente e diversificado do que a busca gananciosa clássica, e mais controlável do que a amostragem aleatória.