Comment choisir le seuil pour le rejet automatique et le seuil pour la modération manuelle dans la tâche de modération des annonces?

La sélection des seuils pour le rejet automatique et la modération manuelle dans la tâche de modération des annonces est généralement basée sur l'analyse des métriques de qualité du modèle (par exemple, précision, rappel, score F1) et sur les exigences commerciales concernant le niveau d'erreurs.

1. Rejet automatique (risque faible d'erreur) : un seuil est choisi où le modèle classifie avec une grande confiance une annonce comme violant les règles. Cela minimise le nombre de faux positifs pour ne pas bloquer les annonces légitimes. En général, le seuil est fixé pour que la précision soit très élevée (par exemple, >95%).

2. Modération manuelle (risque moyen) : le seuil pour passer à une vérification manuelle est choisi dans une plage entre le rejet automatique et l'approbation automatique. C'est une zone d'incertitude où le modèle n'est pas sûr de la classification. Ici, il est important d'équilibrer le nombre d'annonces en vérification manuelle et la qualité de la modération.

3. Passage automatique (risque faible de violation) : les annonces avec une confiance du modèle inférieure au seuil inférieur sont considérées comme sûres et passent sans modération.

Pour le choix des seuils, on construit généralement :

• des courbes ROC ou de précision-rappel.
• on analyse les objectifs commerciaux : combien d'erreurs sont tolérables, combien de ressources sont disponibles pour la modération manuelle.
• on réalise des tests A/B avec différents seuils.

Exemple :

Action	Seuil de probabilité de violation
Rejet automatique	> 0.9
Modération manuelle	0.6 – 0.9
Passage automatique	< 0.6