Что такое pivoted normalization?

Pivoted normalization — это метод нормализации в информационном поиске, который корректирует оценку релевантности документов с учётом их длины. Идея в том, чтобы избежать смещения в сторону слишком длинных или слишком коротких документов.

В классическом BM25 и подобных моделях длина документа влияет на оценку, и pivoted normalization вводит параметр, называемый pivot (обычно средняя длина документа в коллекции), вокруг которого происходит нормализация. Формула обычно выглядит так:

NormalizedLength = (1 - slope) * pivot + slope * actualLength

где slope — параметр, регулирующий степень нормализации.

Это помогает сбалансировать влияние длины документа на релевантность, улучшая качество ранжирования в поисковых системах.