¿Qué es el sesgo logit y dónde se utiliza?

El sesgo de logit es un método de modificar las probabilidades de selección de palabras o tokens en modelos de lenguaje (LLM) mediante la adición de un sesgo (bias) a los logits, que son valores que, antes de aplicar la función softmax, se transforman en probabilidades.

La aplicación del sesgo de logit permite controlar la probabilidad de aparición de ciertas palabras o frases en las respuestas del modelo. Por ejemplo, se puede aumentar la probabilidad de seleccionar términos necesarios o, por el contrario, reducir la probabilidad de palabras no deseadas.

Esto se utiliza para:

• Controlar la generación de texto (por ejemplo, evitar palabras tóxicas)
• Ajustar el comportamiento del modelo para tareas específicas
• Mejorar la calidad y relevancia de las respuestas

Ejemplo: si se aumenta el logit para la palabra "Java" en un valor positivo, el modelo tendrá más probabilidades de elegir esa palabra en la respuesta.