Czym jest normalizacja pivotowana?

Pivoted normalization to metoda normalizacji w wyszukiwaniu informacji, która koryguje ocenę trafności dokumentów z uwzględnieniem ich długości. Pomysł polega na uniknięciu przesunięcia na korzyść zbyt długich lub zbyt krótkich dokumentów.

W klasycznych modelach, takich jak BM25, długość dokumentu wpływa na ocenę, a pivoted normalization wprowadza parametr zwany pivot (zwykle średnia długość dokumentu w kolekcji), wokół którego odbywa się normalizacja. Formuła wygląda zazwyczaj tak:

NormalizedLength = (1 - slope) * pivot + slope * actualLength

gdzie slope to parametr regulujący stopień normalizacji.

Pomaga to zrównoważyć wpływ długości dokumentu na trafność, poprawiając jakość rankingu w systemach wyszukiwania.