Что такое query likelihood model?

Query Likelihood Model (QLM) — это статистическая модель информационного поиска, основанная на вероятностном подходе. Идея состоит в том, чтобы оценить вероятность того, что документ сгенерировал заданный поисковый запрос.

Основные моменты:

• Для каждого документа строится языковая модель (Language Model), которая описывает вероятность появления слов в этом документе.
• Затем вычисляется вероятность запроса, исходя из этой модели: P(query | document).
• Документы ранжируются по убыванию этой вероятности — чем выше вероятность, тем релевантнее документ.

Пример упрощённой формулы:

[ P(Q|D) = \prod_{w \in Q} P(w|D)^{tf(w,Q)} ]

где:

• Q — запрос,
• D — документ,
• w — слово из запроса,
• tf(w,Q) — частота слова w в запросе,
• P(w|D) — вероятность слова w в документе D.

Для сглаживания вероятностей часто применяются методы, например, смешивание с коллекцией документов, чтобы избежать нулевых вероятностей для слов, отсутствующих в документе.

Таким образом, QLM позволяет оценить релевантность документов на основе вероятностного моделирования текста, что улучшает качество поиска по сравнению с простыми совпадениями слов.