Что такое RankNet и его loss?

RankNet — это алгоритм обучения ранжированию, основанный на нейронных сетях, разработанный Microsoft Research. Он используется для задач Learning to Rank (LTR), например, в поисковых системах, чтобы упорядочить документы по релевантности.

Основная идея RankNet — обучать модель предсказывать вероятность того, что один документ релевантнее другого для заданного запроса. Для этого берутся пары документов и их относительные предпочтения.

Loss функция RankNet — это кросс-энтропийная функция между предсказанной вероятностью и истинной меткой предпочтения:

[ L = -\bar{P}{ij} \log P{ij} - (1 - \bar{P}{ij}) \log (1 - P{ij}) ]

где:

• (P_{ij}) — предсказанная моделью вероятность, что документ i лучше документа j,
• (\bar{P}_{ij}) — истинная метка (1, если i лучше j, иначе 0).

Таким образом, RankNet минимизирует ошибку в предсказании парных предпочтений, что позволяет эффективно обучать ранжирующую модель.