Kas yra Dirichlet glotninimas IR kalbos modelyje?

Dirichlet'o išlygimas yra tikimybių išlyginimo metodas kalbos modeliuose informacijos paieškai (IR), pagrįstas Bayes'o požiūriu ir naudojantis išankstinio paskirstymo Dirichlet'ą.

IR užduotyse kalbos modelis įvertina tikimybę, kad terminas pasirodys dokumente. Problema kyla, kai terminas nėra dokumente, ir tikimybė tampa nuliu, kas neigiamai veikia reitingavimą.

Dirichlet'o išlygimas koreguoja tikimybių įvertinimus, atsižvelgiant į termino dažnius dokumentų kolekcijoje (korpuse) ir išlyginimo parametrą (paprastai žymimą kaip μ). Formulė:

[ P_{išlygintas}(w|d) = \frac{c(w,d) + \mu P(w|C)}{|d| + \mu} ]

kur:

• ( c(w,d) ) — žodžio ( w ) pasikartojimų skaičius dokumente ( d ),
• ( |d| ) — dokumento ilgis,
• ( P(w|C) ) — žodžio tikimybė kolekcijoje,
• ( \mu ) — išlyginimo parametras, kontroliuojantis balansą tarp dokumento ir kolekcijos.

Taip, Dirichlet'o išlygimas leidžia išvengti nulinų tikimybių ir pagerina dokumentų reitingo kokybę IR sistemose.