Come scegliere la soglia per il rifiuto automatico e la soglia per la moderazione manuale nel compito di moderazione degli annunci?

La selezione delle soglie per il rifiuto automatico e la moderazione manuale nel compito di moderazione degli annunci si basa generalmente sull'analisi delle metriche di qualità del modello (ad esempio, precisione, recall, punteggio F1) e sui requisiti aziendali riguardanti il livello di errori.

1. Rifiuto automatico (basso rischio di errore): si sceglie una soglia in cui il modello classifica con alta fiducia un annuncio come violante le regole. Questo minimizza il numero di falsi positivi, per non bloccare annunci legittimi. Di solito, la soglia è impostata affinché la precisione sia molto alta (ad esempio, >95%).

2. Moderazione manuale (rischio medio): la soglia per passare alla verifica manuale viene scelta in un intervallo tra il rifiuto automatico e l'approvazione automatica. È una zona di incertezza in cui il modello non è sicuro nella classificazione. Qui, è importante bilanciare il numero di annunci in revisione manuale e la qualità della moderazione.

3. Passaggio automatico (basso rischio di violazione): gli annunci con fiducia del modello sotto la soglia inferiore sono considerati sicuri e passano senza moderazione.

Per la scelta delle soglie, di solito:

• Si costruiscono curve ROC o di Precision-Recall.
• Si analizzano gli obiettivi aziendali: quanti errori sono tollerabili, quante risorse sono disponibili per la moderazione manuale.
• Si effettuano test A/B con diverse soglie.

Esempio:

Azione	Soglia di probabilità di violazione
Rifiuto automatico	> 0.9
Moderazione manuale	0.6 – 0.9
Passaggio automatico	< 0.6