Что такое language model approach to IR (Ponte-Croft)?

Language model approach to Information Retrieval (IR), предложенный Ponte и Croft, основан на вероятностном моделировании документов. Идея в том, что для каждого документа строится языковая модель — вероятностное распределение слов, характерных для этого документа.

При поиске запроса система оценивает вероятность того, что языковая модель документа сгенерировала данный запрос. Документы ранжируются по этой вероятности: чем выше вероятность, тем релевантнее документ.

Пример: если запрос — "машинное обучение", то документ, в языковой модели которого часто встречаются слова "машинное" и "обучение", получит высокий рейтинг.

Это отличается от классических моделей, которые опираются на совпадения ключевых слов или обратную частоту документа (TF-IDF). Language model approach позволяет более гибко учитывать статистику слов и их распределение в документах.