Čo je logit bias a kde sa používa?

Bias logit je metóda na úpravy pravdepodobností výberu slov alebo tokenov v jazykových modeloch (LLM) pridávaním posunu (bias) k logitom — hodnotám, ktoré pred použitím funkcie softmax sa transformujú na pravdepodobnosti.

Použitie biasu logitov umožňuje kontrolovať pravdepodobnosť výskytu určitých slov alebo fráz v odpovediach modelu. Napríklad, možno zvýšiť pravdepodobnosť výberu potrebných termínov alebo naopak znížiť pravdepodobnosť neželaných slov.

Toto sa používa na:

• Kontrolu generovania textu (napríklad vyhýbanie sa toxickým slovám)
• Nastavenie správania modelu pre špecifické úlohy
• Zlepšenie kvality a relevantnosti odpovedí

Príklad: ak zvýšite logit pre slovo "Java" o kladnú hodnotu, model s väčšou pravdepodobnosťou vyberie toto slovo v odpovedi.