Kuidas valida automaatse tagasi lükkamise künnis ja käsitsi modereerimise künnis reklaamide modereerimise ülesandes?

Automaatsete tagasilükkamise ja käsitsi modereerimise künniste valik põhineb tavaliselt mudeli kvaliteedi metrikate (näiteks täpsus, recall, F1-skoor) ning ärinõuete analüüsil vigade taseme osas.

1. Automaatne tagasilükkamine (madal vea risk): valitakse künnis, mille korral mudel klassifitseerib suure kindlusega kuulutuse rikkumiseks. See minimeerib valepositiivide arvu, et mitte blokeerida legitiimseid kuulutusi. Tavaliselt seatakse künnis nii, et täpsus oleks väga kõrge (näiteks >95%).

2. Käsitsi modereerimine (keskmine risk): künnis, mille puhul kuulutus edastatakse käsitsi kontrollile, valitakse vahemikus automaatse tagasilükkamise ja automaatse heakskiidu vahel. See on ebakindluse tsoon, kus mudel ei ole kindel klassifikatsioonis. Siin on oluline leida tasakaal kuulutuste arvu ja modereerimise kvaliteedi vahel.

3. Automaatne heakskiit (madal rikkumise risk): kuulutused, mille mudeli usaldus on alla madala künnise, peetakse ohutuks ja läbib ilma modereerimiseta.

Künniste valikul:

• Koostatakse ROC või Precision-Recall kõverad.
• Analüüsitakse ärilisi eesmärke: kui palju vigu on lubatud, kui palju ressursse on käsitsi modereerimiseks.
• Viidatakse erinevate künnistega A/B testidele.

Näide:

Tegevus	Rikkumise tõenäosuse künnis
Automaatne tagasilükkamine	> 0.9
Käsitsi modereerimine	0.6 – 0.9
Automaatne heakskiit	< 0.6