Cum alegi pragul pentru respingerea automată și pragul pentru moderarea manuală în sarcina de moderare a anunțurilor?

Selectarea pragurilor pentru respingerea automată și moderarea manuală în sarcina de moderare a anunțurilor se bazează de obicei pe analiza metricilor de calitate ale modelului (de exemplu, precizie, recall, scor F1) și pe cerințele de afaceri privind nivelul de erori.

1. Respingere automată (risc scăzut de eroare): se alege un prag în care modelul clasifică cu încredere mare un anunț ca fiind încălcat regulile. Acest lucru minimizează numărul de fals pozitive, pentru a nu bloca anunțuri legitime. De obicei, pragul este setat astfel încât precizia să fie foarte ridicată (de exemplu, >95%).

2. Moderare manuală (risc mediu): pragul pentru trecerea la verificare manuală este ales între respingerea automată și aprobarea automată. Este o zonă de incertitudine în care modelul nu este sigur de clasificare. Aici, este important să se echilibreze numărul de anunțuri supuse verificării manuale și calitatea moderării.

3. Aprobarea automată (risc scăzut de încălcare): anunțurile cu încredere a modelului sub pragul inferior sunt considerate sigure și trec fără moderare.

Pentru alegerea pragurilor, de obicei:

• Se construiesc curbe ROC sau de Precizie-Recall.
• Se analizează obiectivele de afaceri: câte erori sunt tolerabile, câte resurse sunt disponibile pentru moderare manuală.
• Se efectuează teste A/B cu diferite praguri.

Exemplu:

Acțiune	Pragul de probabilitate de încălcare
Respingere automată	> 0.9
Moderare manuală	0.6 – 0.9
Aprobare automată	< 0.6