O que é o viés logit e onde é utilizado?

O viés de logit é um método de modificar as probabilidades de escolha de palavras ou tokens em modelos de linguagem (LLM) através da adição de um viés (bias) aos logits, que são valores que, antes de aplicar a função softmax, são transformados em probabilidades.

A aplicação do viés de logit permite controlar a probabilidade de certas palavras ou frases aparecerem nas respostas do modelo. Por exemplo, pode-se aumentar a probabilidade de selecionar termos necessários ou, pelo contrário, diminuir a probabilidade de palavras indesejadas.

Isto é utilizado para:

• Controlar a geração de texto (por exemplo, evitar palavras tóxicas)
• Ajustar o comportamento do modelo para tarefas específicas
• Melhorar a qualidade e relevância das respostas

Exemplo: se aumentar o logit para a palavra "Java" com um valor positivo, o modelo terá maior probabilidade de escolher essa palavra na resposta.