Hogyan válasszuk ki az automatik elutasítás küszöböt és a kézi moderáció küszöböt az hirdetés moderálási feladatban?

A hívás küszöbértékeinek kiválasztása az automatikus elutasítás és a kézi moderálás esetében általában a modell minőségi metrikáinak (például pontosság, recall, F1-score) és az üzleti követelményeknek az hibaszinttel kapcsolatban történő elemzésén alapul.

1. Automatikus elutasítás (alacsony hibaarány): olyan küszöböt választanak, ahol a modell nagy bizalommal osztályozza a hirdetést, mint szabálysértőt. Ez minimalizálja a hamis pozitívokat, hogy ne blokkolja a jogszerű hirdetéseket. Általában a küszöböt úgy állítják be, hogy a pontosság nagyon magas legyen (például >95%).

2. Kézi moderálás (közepes kockázat): a küszöböt a kézi ellenőrzésre való átadásra a automatikus elutasítás és az automatikus jóváhagyás között választják ki. Ez egy bizonytalansági zóna, ahol a modell nem biztos a osztályozásban. Itt fontos az egyensúly a kézi ellenőrzésre kerülő hirdetések száma és a moderálás minősége között.

3. Automatikus jóváhagyás (alacsony szabálysértési kockázat): a modell bizalmával alacsonyabb küszöb alatti hirdetéseket biztonságosnak tekintik, és moderálás nélkül átengedik.

A küszöbértékek kiválasztásához általában:

• ROC vagy Precision-Recall görbéket készítenek.
• Elemzik az üzleti célokat: hány hiba elfogadható, milyen erőforrások állnak rendelkezésre a kézi moderáláshoz.
• Különböző küszöbökkel A/B teszteket végeznek.

Példa:

Tevékenység	Szabálysértési valószínűség küszöb
Automatikus elutasítás	> 0.9
Kézi moderálás	0.6 – 0.9
Automatikus jóváhagyás	< 0.6