Какво е Dirichlet изглаждане в езиковия модел IR?

Обезцветяването на Dirichlet е метод за изглаждане на вероятности в езиковите модели за информационно търсене (IR), базиран на байесов подход с използване на предварително разпределение на Dirichlet.

В задачите за IR, езиковият модел оценява вероятността даден термин да се появи в документ. Проблемът възниква, когато терминът липсва в документа, и вероятността става нулева, което негативно влияе на класирането.

Обезцветяването на Dirichlet коригира оценките на вероятностите, като взема предвид честотите на термина в колекцията от документи (корпуса) и параметър за изглаждане (обикновено обозначаван като μ). Формулата:

[ P_{изгладено}(w|d) = \frac{c(w,d) + \mu P(w|C)}{|d| + \mu} ]

където:

• ( c(w,d) ) — броят на срещанията на думата ( w ) в документа ( d ),
• ( |d| ) — дължината на документа,
• ( P(w|C) ) — вероятността на думата в колекцията,
• ( \mu ) — параметър за изглаждане, който контролира баланса между документа и колекцията.

По този начин, обезцветяването на Dirichlet позволява да се избегнат нулеви вероятности и да се подобри качеството на класиране на документите в IR системи.