Что такое hard negative mining в ранжировании?

Hard negative mining — это техника в задачах ранжирования и обучения с обучающими примерами, где важна дифференциация между похожими объектами. Она заключается в выборе для обучения тех негативных примеров (то есть примеров, которые не соответствуют запросу), которые модель ошибочно оценивает как положительные или близкие к положительным.

Это помогает модели лучше учиться различать тонкие различия и улучшает качество ранжирования, так как она фокусируется на сложных случаях, а не на очевидных негативных примерах.

Например, в поисковой системе hard negative — это документ, который не релевантен запросу, но по каким-то признакам модель считает его релевантным. Включение таких примеров в обучение повышает точность модели.