Wat is Inverse Propensity Scoring in LTR?

Inverse Propensity Scoring (IPS) in Learning to Rank (LTR) is een methode om bias in gegevens te corrigeren die ontstaan doordat gebruikersklikken niet alleen afhankelijk zijn van relevantie, maar ook van positie of andere factoren. IPS wordt gebruikt om de kwaliteit van de rangschikking op basis van klikken te beoordelen, terwijl onevenwichtigheden in de klikkansen worden gecompenseerd.

Het idee is dat elke klik omgekeerd evenredig wordt gewogen aan de waarschijnlijkheid dat de gebruiker dit item ziet en erop klikt (propensiteit). Zo krijgen klikken op posities met een lage klikkans een zwaarder gewicht, wat helpt om een eerlijkere beoordeling van het model te krijgen.

Voorbeeld: als de klikkans op positie 1 0.8 is, en op positie 5 0.2, dan wordt de klik op positie 5 zwaarder gewogen om de lagere kans om gezien te worden te compenseren.

Dit stelt je in staat om rangschikkingsmodellen te trainen op basis van geobserveerde klikken, terwijl je de bias veroorzaakt door positie of andere factoren minimaliseert.