Kako odabrati prag za automatsko odbijanje i prag za ručno moderisanje u zadatku moderacije oglasa?

Izbor praga za automatsko odbacivanje i ručno moderiranje u zadatku moderacije oglasa obično se zasniva na analizi metrika kvaliteta modela (npr., preciznost, recall, F1-score) i poslovnim zahtevima u pogledu nivoa grešaka.

1. Automatsko odbacivanje (nizak rizik od greške): bira se prag na kojem model sa visokim poverenjem klasifikuje oglas kao da krši pravila. To minimizira broj lažno pozitivnih, kako ne bi blokirali legitimne oglase. Obično se prag postavlja tako da preciznost bude veoma visoka (npr., >95%).

2. Ručno moderiranje (srednji rizik): prag za prebacivanje na ručnu proveru bira se u opsegu između automatskog odbacivanja i automatskog odobravanja. To je zona nesigurnosti gde model nije siguran u klasifikaciji. Ovde je važno uspostaviti ravnotežu između broja oglasa za ručno proveru i kvaliteta moderacije.

3. Automatsko odobravanje (nizak rizik od kršenja): oglasi sa poverenjem modela ispod donjeg praga smatraju se sigurnim i prolaze bez moderacije.

Za izbor pragova, obično:

• Prave se ROC ili Precision-Recall krivice.
• Analiziraju se poslovni ciljevi: koliko grešaka je prihvatljivo, koliko resursa je dostupno za ručno moderiranje.
• Sprovode se A/B testovi sa različitim pragovima.

Primer:

Akcija	Prag verovatnoće kršenja
Automatsko odbacivanje	> 0.9
Ručno moderiranje	0.6 – 0.9
Automatsko odobravanje	< 0.6