Что такое diversity и MMR (Maximal Marginal Relevance)?

Diversity (разнообразие) в информационном поиске и рекомендательных системах — это мера того, насколько результаты поиска или рекомендации отличаются друг от друга по содержанию или характеристикам. Цель — избежать избыточного повторения похожих элементов и предоставить пользователю более широкий спектр релевантной информации.

Maximal Marginal Relevance (MMR) — это алгоритм, который балансирует между релевантностью и разнообразием при ранжировании документов или элементов. MMR выбирает элементы, которые одновременно максимально релевантны запросу и минимально похожи на уже выбранные, тем самым повышая разнообразие.

Формально, при выборе следующего элемента $D_i$ из множества документов $D$:

$$ \text{MMR} = \arg\max_{D_i \in D \setminus S} \left[ \lambda \cdot \text{Sim}(D_i, Q) - (1 - \lambda) \cdot \max_{D_j \in S} \text{Sim}(D_i, D_j) \right] $$

где:

• $S$ — уже выбранные документы,
• $Q$ — запрос,
• $\text{Sim}$ — функция сходства,
• $\lambda \in [0,1]$ — параметр, регулирующий баланс между релевантностью и разнообразием.

Таким образом, MMR помогает создавать списки результатов, которые не только релевантны, но и разнообразны, улучшая пользовательский опыт.