Ako vybrať prah pre automatické odmietnutie a prah pre manuálnu moderáciu v úlohe moderácie inzerátov?

Výber prahov pre automatické zamietnutie a manuálnu moderáciu v úlohe moderácie inzerátov sa zvyčajne zakladá na analýze metrík kvality modelu (napríklad presnosť, recall, F1-skóre) a obchodných požiadavkách na úroveň chýb.

1. Automatické zamietnutie (nízke riziko chyby): vyberie sa prah, pri ktorom model s vysokou istotou klasifikuje inzerát ako porušujúci pravidlá. To minimalizuje počet falošne pozitívnych, aby sa neblokovali legitímne inzeráty. Zvyčajne je prah nastavený tak, aby bola presnosť veľmi vysoká (napríklad >95%).

2. Manuálna moderácia (stredné riziko): prah pre odovzdanie na manuálnu kontrolu sa vyberá v rozmedzí medzi automatickým zamietnutím a automatickým schválením. Ide o zónu neistoty, kde model nie je istý v klasifikácii. Tu je dôležité nájsť rovnováhu medzi počtom inzerátov na manuálnu kontrolu a kvalitou moderácie.

3. Automatické schválenie (nízke riziko porušenia): inzeráty s dôverou modelu pod spodným prahom sa považujú za bezpečné a prechádzajú bez moderácie.

Pri výbere prahov sa zvyčajne:

• Vytvárajú ROC alebo Precision-Recall krivky.
• Analyzujú sa obchodné ciele: koľko chýb je akceptovateľných, koľko zdrojov je k dispozícii na manuálnu moderáciu.
• Vykonávajú sa A/B testy s rôznymi prahmi.

Príklad:

Akcia	Prah pravdepodobnosti porušenia
Automatické zamietnutie	> 0.9
Manuálna moderácia	0.6 – 0.9
Automatické schválenie	< 0.6