Какво е logit bias и къде се използва?

Bias-ът на логит е метод за модифициране на вероятностите за избор на думи или токени в езиковите модели (LLM), като се добави отклонение (bias) към логитите — стойности, които преди прилагането на функцията softmax се преобразуват в вероятности.

Прилагането на bias-ът на логитите позволява да се контролира вероятността за появата на определени думи или фрази в отговорите на модела. Например, може да се увеличи вероятността за избор на нужните термини или, обратно, да се намали вероятността за нежелани думи.

Това се използва за:

• Контрол на генерирането на текст (например, избягване на токсични думи)
• Настройка на поведението на модела за конкретни задачи
• Подобряване на качеството и релевантността на отговорите

Пример: ако увеличите логита за думата "Java" с положителна стойност, моделът по-вероятно ще избере тази дума в отговора.