IR тил моделинде Dirichlet жумшартуу эмне?

Дирихле ийкемдүүлүгү — бул тил моделдеринде ыктымалдуулукту ийкемдүүлүктүн бир жолу, ал байесийлик жактан каралып, Дирихле алдын ала бөлүштүрүүнү колдонуу менен ишке ашырылат.

IR тапшырмаларында тил модели бир терминдин документте пайда болушу мүмкүнчүлүгүн баалайт. Мәселе, эгер термин документте жок болсо, ыктымалдуулук нөлгө барабар болуп, рейтингке терс таасирин тийгизет.

Дирихле ийкемдүүлүгү ыктымалдуулуктарды баалоону түзөтүп, терминдин коллекциядагы (корпус) кездешүү санын жана ийкемдүүлүк параметрин (адатта μ деп белгиленет) эске алат. Формула:

[ P_{ийкемдүүлүк}(w|d) = \frac{c(w,d) + \mu P(w|C)}{|d| + \mu} ]

мында:

• ( c(w,d) ) — ( w ) сөзүнүн ( d ) документтеги кездешүү саны,
• ( |d| ) — документтин узундугу,
• ( P(w|C) ) — сөздүн коллекциядагы ыктымалдуулугу,
• ( \mu ) — ийкемдүүлүк параметри, ал документ жана коллекция ортосундагы балансын көзөмөлдөйт.

Мындай жол менен, Дирихле ийкемдүүлүгү нөлдүк ыктымалдуулуктарды алдын алууга жана IR системдеринде документтердин рейтинг сапатын жакшыртууга мүмкүндүк берет.