Какие приёмы offline-обучения LTR из click logs (counterfactual evaluation)?

Offline-обучение Learning to Rank (LTR) из click logs с использованием counterfactual evaluation — это подход к обучению моделей ранжирования, когда данные кликов собираются в реальных условиях, но для оценки и обучения используется методика, учитывающая смещение в данных.

Основные приёмы:

1. Inverse Propensity Scoring (IPS) — корректировка влияния кликов с учётом вероятности показа документа пользователю. Это помогает компенсировать позиционное смещение (позиции в выдаче влияют на вероятность клика).

2. Doubly Robust Estimators — комбинируют IPS с моделью предсказания кликов, снижая дисперсию оценки и повышая устойчивость.

3. Counterfactual Learning — обучение модели на основе логов, собранных при другом политике ранжирования, с использованием методов оценки, которые учитывают разницу между текущей и старой политикой.

4. Off-policy Evaluation — оценка качества новой модели без её развертывания, используя данные, собранные старой моделью.

Пример: если у вас есть логи кликов с позиции 1-10, то для обучения модели вы взвешиваете каждый клик на обратную вероятность того, что документ был показан именно на этой позиции, чтобы компенсировать, что пользователи чаще кликают на верхние позиции.

Таким образом, offline-обучение LTR с counterfactual evaluation позволяет эффективно использовать реальные пользовательские данные, минимизируя смещения и повышая качество ранжирования без необходимости постоянного A/B тестирования.