Czym jest odwrócone scoring skłonności w LTR?

Odwrócone Wskazanie Skuteczności (IPS) w Learning to Rank (LTR) to metoda korekty odchyleń w danych, które wynikają z faktu, że kliknięcia użytkowników zależą nie tylko od relewantności, ale także od pozycji lub innych czynników. IPS jest używany do oceny jakości rankingu na podstawie kliknięć, rekompensując nierównomierny rozkład prawdopodobieństw kliknięć.

Idea polega na tym, że każdy klik jest ważony odwrotnie proporcjonalnie do prawdopodobieństwa, że użytkownik zobaczy i kliknie na ten element (propensytet). W ten sposób kliknięcia na pozycjach z niskim prawdopodobieństwem kliknięcia otrzymują większą wagę, co pomaga uzyskać bardziej uczciwą ocenę modelu.

Przykład: jeśli prawdopodobieństwo kliknięcia na pozycji 1 wynosi 0.8, a na pozycji 5 — 0.2, to kliknięcie na pozycji 5 będzie ważone silniej, aby zrekompensować mniejsze prawdopodobieństwo zauważenia.

To umożliwia trenowanie modeli rankingowych na podstawie zaobserwowanych kliknięć, minimalizując odchylenie spowodowane pozycją lub innymi czynnikami.