Šta je Dirichletovo izravnavanje u IR modelu jezika?

Dirichletovo izravnavanje je metoda izravnavanja verovatnoća u jezičkim modelima za pretraživanje informacija (IR), zasnovana na Bayesovom pristupu sa korišćenjem Dirichletove početne raspodele.

U IR zadacima, jezički model procenjuje verovatnoću da se termin pojavi u dokumentu. Problem nastaje kada termin nije prisutan u dokumentu, i verovatnoća postaje nula, što negativno utiče na rangiranje.

Dirichletovo izravnavanje koriguje procene verovatnoća uzimajući u obzir frekvencije termina u kolekciji dokumenata (korpus) i parametar izravnavanja (obično označen kao μ). Formula:

[ P_{izravnato}(w|d) = \frac{c(w,d) + \mu P(w|C)}{|d| + \mu} ]

gde:

• ( c(w,d) ) — broj pojavljivanja reči ( w ) u dokumentu ( d ),
• ( |d| ) — dužina dokumenta,
• ( P(w|C) ) — verovatnoća reči u kolekciji,
• ( \mu ) — parametar izravnavanja koji kontroliše ravnotežu između dokumenta i kolekcije.

Na ovaj način, Dirichletovo izravnavanje izbegava nulte verovatnoće i poboljšava kvalitet rangiranja dokumenata u IR sistemima.