Čo je to Dirichletovo vyhladzovanie v jazykovom modeli IR?

Dirichletovo vyhladzovanie je metóda vyhladzovania pravdepodobností v jazykových modeloch pre vyhľadávanie informácií (IR), založená na bayesovskom prístupe s použitím predchádzajúceho rozdelenia Dirichlet.

V úlohách IR model odhaduje pravdepodobnosť, že sa termín objaví v dokumente. Problém nastáva, keď termín v dokumente chýba, a pravdepodobnosť sa stáva nulovou, čo negatívne ovplyvňuje radenie.

Dirichletovo vyhladzovanie upravuje odhady pravdepodobností tak, že zohľadňuje frekvencie termínu v kolekcii dokumentov (korpus) a parameter vyhladzovania (zvyčajne označovaný ako μ). Vzorec:

[ P_{vyhladené}(w|d) = \frac{c(w,d) + \mu P(w|C)}{|d| + \mu} ]

kde:

• ( c(w,d) ) — počet výskytov slova ( w ) v dokumente ( d ),
• ( |d| ) — dĺžka dokumentu,
• ( P(w|C) ) — pravdepodobnosť slova v kolekcii,
• ( \mu ) — parameter vyhladzovania, ktorý riadi rovnováhu medzi dokumentom a kolekciou.

Týmto spôsobom Dirichletovo vyhladzovanie zabraňuje nulovým pravdepodobnostiam a zlepšuje kvalitu radenia dokumentov v IR systémoch.