Что такое logit bias и где он используется?

Logit bias — это метод модификации вероятностей выбора слов или токенов в языковых моделях (LLM) путём добавления смещения (bias) к логитам — значениям, которые перед применением функции softmax преобразуются в вероятности.

Применение logit bias позволяет управлять вероятностью появления определённых слов или фраз в ответах модели. Например, можно повысить вероятность выбора нужных терминов или, наоборот, снизить вероятность нежелательных слов.

Это используется для:

• Контроля генерации текста (например, избегание токсичных слов)
• Настройки поведения модели под конкретные задачи
• Улучшения качества и релевантности ответов

Пример: если логит для слова "Java" увеличить на положительное значение, модель с большей вероятностью выберет это слово в ответе.