Logit bias nədir və harada istifadə olunur?

Logit bias — bu dil modellərində sözlərin və ya tokenların seçilmə ehtimalını dəyişdirmək üçün istifadə olunan bir metodur. Bu, softmax funksiyasından əvvəl logitlərə (bias) əlavə edilən bir dəyişkəndir — bu dəyərlər ehtimallara çevrilməzdən əvvəl qiymətləndirilir.

Logit bias tətbiqi, modelin cavablarında müəyyən sözlərin və ya ifadələrin çıxma ehtimalını idarə etməyə imkan verir. Məsələn, lazım olan terminlərin seçilmə ehtimalını artırmaq və ya istənməyən sözlərin ehtimalını azaltmaq olar.

Bu, aşağıdakı məqsədlər üçün istifadə olunur:

• Mətnin yaradılmasını idarə etmək (məsələn, toksik sözlərdən qaçınmaq)
• Modelin davranışını xüsusi tapşırıqlara uyğunlaşdırmaq
• Cavabların keyfiyyətini və relevansını artırmaq

Misal: "Java" sözünün logitini müsbət bir dəyər ilə artırırsanız, model bu sözü cavabda daha çox seçəcək.