Что такое Inverse Propensity Scoring в LTR?

Inverse Propensity Scoring (IPS) в Learning to Rank (LTR) — это метод корректировки смещений в данных, возникающих из-за того, что клики пользователей зависят не только от релевантности, но и от позиции или других факторов. IPS используется для оценки качества ранжирования на основе кликов, компенсируя неравномерное распределение вероятностей кликов.

Идея в том, что каждый клик взвешивается обратно пропорционально вероятности того, что пользователь увидит и кликнет на этот элемент (пропенсити). Таким образом, клики на позициях с низкой вероятностью клика получают больший вес, что помогает получить более честную оценку модели.

Пример: если вероятность клика на позиции 1 равна 0.8, а на позиции 5 — 0.2, то клик на позиции 5 будет взвешен сильнее, чтобы компенсировать меньшую вероятность быть замеченным.

Это позволяет обучать модели ранжирования на основе наблюдаемых кликов, минимизируя смещение, вызванное позицией или другими факторами.