Как выбрать порог для автоотклонения и порог для ручной модерации в задаче модерации объявлений?

Выбор порогов для автоотклонения и ручной модерации в задаче модерации объявлений обычно основывается на анализе метрик качества модели (например, precision, recall, F1-score) и бизнес-требованиях к уровню ошибок.

1. Автоотклонение (низкий риск ошибки): выбирается порог, при котором модель с высокой уверенностью классифицирует объявление как нарушающее правила. Это минимизирует количество ложных срабатываний (false positives), чтобы не блокировать легитимные объявления. Обычно порог ставится так, чтобы precision был очень высоким (например, >95%).

2. Ручная модерация (средний риск): порог для передачи на ручную проверку выбирается в промежутке между автоотклонением и автоматическим пропуском. Это зона неопределённости, где модель не уверена в классификации. Здесь важен баланс между количеством объявлений на ручную проверку и качеством модерации.

3. Автоматическое пропускание (низкий риск нарушения): объявления с уверенностью модели, ниже нижнего порога, считаются безопасными и проходят без модерации.

Для выбора порогов обычно:

• Строят ROC или Precision-Recall кривые.
• Анализируют бизнес-цели: сколько ошибок допустимо, сколько ресурсов есть на ручную модерацию.
• Проводят A/B тесты с разными порогами.

Пример:

Действие	Порог вероятности нарушения
Автоотклонение	> 0.9
Ручная модерация	0.6 – 0.9
Автоматический пропуск	< 0.6