Mis on logit bias ja kus seda kasutatakse?

Logit bias on meetod, kuidas muuta sõnade või tokenite valiku tõenäosust keelemudelites (LLM), lisades logititele (bias) kõrvalekalde — väärtused, mis enne softmax funktsiooni rakendamist muudetakse tõenäosusteks.

Logit biasi kasutamine võimaldab kontrollida teatud sõnade või fraaside ilmumise tõenäosust mudeli vastustes. Näiteks saab suurendada vajalike terminite valiku tõenäosust või vastupidi, vähendada soovimatute sõnade tõenäosust.

Seda kasutatakse:

• Teksti genereerimise kontrollimiseks (nt toksiliste sõnade vältimiseks)
• Mudeli käitumise kohandamiseks konkreetsete ülesannete jaoks
• Vastuste kvaliteedi ja asjakohasuse parandamiseks

Näide: kui suurendate sõna "Java" logiti positiivse väärtusega, valib mudel selle sõna suurema tõenäosusega vastuses.