Was ist pivotierte Normalisierung?

Pivoted-Normalisierung ist eine Methode der Normalisierung in der Informationssuche, die die Bewertung der Relevanz von Dokumenten unter Berücksichtigung ihrer Länge korrigiert. Die Idee ist, Verzerrungen zugunsten zu langer oder zu kurzer Dokumente zu vermeiden.

In klassischen Modellen wie BM25 beeinflusst die Dokumentenlänge die Bewertung, und die pivoted normalization führt einen Parameter namens Pivot ein (meist die durchschnittliche Dokumentenlänge in der Sammlung), um den die Normalisierung erfolgt. Die Formel sieht normalerweise so aus:

NormalizedLength = (1 - slope) * pivot + slope * actualLength

wobei slope ein Parameter ist, der den Grad der Normalisierung steuert.

Dies hilft, den Einfluss der Dokumentenlänge auf die Relevanz auszugleichen und die Qualität der Rangordnung in Suchmaschinen zu verbessern.