Jak vybrat práh pro automatické odmítnutí a práh pro ruční moderaci v úloze moderace inzerátů?

Výběr prahů pro automatické odmítnutí a ruční moderaci v úloze moderace inzerátů je obvykle založen na analýze metrik kvality modelu (například přesnost, recall, F1-score) a obchodních požadavcích na úroveň chyb.

1. Automatické odmítnutí (nízké riziko chyby): je zvolen práh, při kterém model s vysokou jistotou klasifikuje inzerát jako porušující pravidla. To minimalizuje počet falešně pozitivních, aby se neblokovaly legitimní inzeráty. Obvykle je práh nastaven tak, aby přesnost byla velmi vysoká (například >95%).

2. Ruční moderace (střední riziko): práh pro předání k ruční kontrole je zvolen v rozmezí mezi automatickým odmítnutím a automatickým schválením. Je to zóna nejistoty, kde model není jistý v klasifikaci. Zde je důležité najít rovnováhu mezi počtem inzerátů určených k ruční kontrole a kvalitou moderace.

3. Automatické schválení (nízké riziko porušení): inzeráty s důvěrou modelu pod spodním prahem jsou považovány za bezpečné a procházejí bez moderace.

Pro výběr prahů se obvykle:

• Vytvářejí ROC nebo Precision-Recall křivky.
• Analyzují obchodní cíle: kolik chyb je přijatelné, kolik zdrojů je k dispozici na ruční moderaci.
• Provádějí se A/B testy s různými prahy.

Příklad:

Akce	Prah pravděpodobnosti porušení
Automatické odmítnutí	> 0.9
Ruční moderace	0.6 – 0.9
Automatické schválení	< 0.6