Co je to Dirichletovo vyhlazení v jazykovém modelu IR?

Dirichletovo vyhlazování je metoda vyhlazování pravděpodobností v jazykových modelech pro vyhledávání informací (IR), založená na bayesovském přístupu s použitím předchozího rozdělení Dirichlet.

V úlohách IR model odhaduje pravděpodobnost, že se termín objeví v dokumentu. Problém nastává, když termín v dokumentu chybí, a pravděpodobnost se stává nulovou, což negativně ovlivňuje řazení.

Dirichletovo vyhlazování upravuje odhady pravděpodobností s přihlédnutím k frekvencím termínu v kolekci dokumentů (korpus) a parametru vyhlazování (obvykle označovaného jako μ). Vzorec:

[ P_{vyhlazené}(w|d) = \frac{c(w,d) + \mu P(w|C)}{|d| + \mu} ]

kde:

• ( c(w,d) ) — počet výskytů slova ( w ) v dokumentu ( d ),
• ( |d| ) — délka dokumentu,
• ( P(w|C) ) — pravděpodobnost slova v kolekci,
• ( \mu ) — parametr vyhlazování, který řídí rovnováhu mezi dokumentem a kolekcí.

Tímto způsobem Dirichletovo vyhlazování zabraňuje nulovým pravděpodobnostem a zlepšuje kvalitu řazení dokumentů v IR systémech.