Что такое ERR (Expected Reciprocal Rank)?

ERR (Expected Reciprocal Rank) — это метрика оценки качества ранжирования в информационном поиске и системах с обучением ранжированию (Learning to Rank). Она измеряет ожидаемое значение обратного ранга первого релевантного документа в списке результатов.

Идея в том, что для каждого запроса вычисляется обратный ранг (1 / позиция первого релевантного результата), а затем берётся математическое ожидание по распределению релевантности. ERR учитывает вероятность того, что пользователь остановится на определённом результате, моделируя поведение пользователя при просмотре списка.

Применение:

• Позволяет оценить качество ранжирования с учётом вероятности удовлетворения пользователя.
• Используется для оптимизации и сравнения моделей ранжирования.

Пример: если первый релевантный документ находится на позиции 2, то вклад в ERR будет 1/2 = 0.5.