Wat is gepivoteerde normalisatie?

Pivoted normalisatie is een normalisatiemethode in informatiezoektocht die de beoordeling van de relevantie van documenten aanpast op basis van hun lengte. Het idee is om bias te voorkomen richting te lange of te korte documenten.

In klassieke modellen zoals BM25 beïnvloedt de lengte van het document de beoordeling, en pivoted normalisatie introduceert een parameter genaamd pivot (meestal de gemiddelde lengte van documenten in de collectie), rondom welke de normalisatie plaatsvindt. De formule is meestal als volgt:

NormalizedLength = (1 - slope) * pivot + slope * actualLength

waarbij slope een parameter is die de mate van normalisatie regelt.

Dit helpt om de invloed van de lengte van het document op de relevantie te balanceren, wat de kwaliteit van de rangschikking in zoekmachines verbetert.