Was ist das inverse Propensity Scoring in LTR?

Inverse Propensity Scoring (IPS) in Learning to Rank (LTR) ist eine Methode zur Korrektur von Verzerrungen in den Daten, die auftreten, weil die Klicks der Nutzer nicht nur von der Relevanz, sondern auch von der Position oder anderen Faktoren abhängen. IPS wird verwendet, um die Qualität des Rankings basierend auf Klicks zu bewerten und die ungleichmäßige Verteilung der Klickwahrscheinlichkeiten auszugleichen.

Die Idee ist, dass jeder Klick invers proportional zur Wahrscheinlichkeit gewichtet wird, dass der Nutzer dieses Element sieht und darauf klickt (Propensity). So erhalten Klicks auf Positionen mit niedriger Klickwahrscheinlichkeit ein höheres Gewicht, was hilft, eine gerechtere Bewertung des Modells zu erhalten.

Beispiel: Wenn die Klickwahrscheinlichkeit auf Position 1 0.8 beträgt und auf Position 5 0.2, wird der Klick auf Position 5 stärker gewichtet, um die geringere Wahrscheinlichkeit, gesehen zu werden, auszugleichen.

Dies ermöglicht es, Ranking-Modelle auf Basis beobachteter Klicks zu trainieren und Verzerrungen durch Position oder andere Faktoren zu minimieren.