Что такое Dirichlet smoothing в языковой модели IR?

Dirichlet smoothing — это метод сглаживания вероятностей в языковых моделях информационного поиска (IR), основанный на байесовском подходе с использованием априорного распределения Дирихле.

В задачах IR языковая модель оценивает вероятность появления термина в документе. Проблема возникает, когда термин отсутствует в документе, и вероятность становится нулевой, что негативно влияет на ранжирование.

Dirichlet smoothing корректирует оценки вероятностей, учитывая частоты термина в коллекции документов (корпусе) и параметр сглаживания (обычно обозначается как μ). Формула:

[ P_{smoothed}(w|d) = \frac{c(w,d) + \mu P(w|C)}{|d| + \mu} ]

где:

• ( c(w,d) ) — количество вхождений слова ( w ) в документе ( d ),
• ( |d| ) — длина документа,
• ( P(w|C) ) — вероятность слова в коллекции,
• ( \mu ) — параметр сглаживания, контролирующий баланс между документом и коллекцией.

Таким образом, Dirichlet smoothing позволяет избежать нулевых вероятностей и улучшить качество ранжирования документов в IR-системах.