Kā izvēlēties automātiskās noraidīšanas slieksni un manuālās moderācijas slieksni reklāmu moderēšanas uzdevumā?

Izvēloties sliekšņus automātiskai noraidīšanai un manuālai moderēšanai, parasti balstās uz modeļa kvalitātes metriku (piemēram, precizitāte, recall, F1-score) un biznesa prasībām attiecībā uz kļūdu līmeni.

1. Automātiska noraidīšana (zema kļūdu riska): tiek izvēlēts slieksnis, kurā modelis ar lielu pārliecību klasificē sludinājumu kā pārkāpumu. Tas samazina nepareizi pozitīvo skaitu, lai neierobežotu likumīgas sludinājumus. Parasti slieksnis ir iestatīts tā, lai precizitāte būtu ļoti augsta (piemēram, >95%).

2. Rokas moderācija (vidēja riska): slieksnis, lai nodotu manuālai pārbaudei, tiek izvēlēts starp automātisko noraidījumu un automātisku apstiprinājumu. Tā ir nenoteiktības zona, kurā modelis nav pārliecināts par klasifikāciju. Šeit ir svarīgi līdzsvarot manuālās pārbaudes sludinājumu skaitu un moderācijas kvalitāti.

3. Automātiska apstiprināšana (zema pārkāpuma riska): sludinājumi ar modeļa uzticību zemāku par zemāko slieksni tiek uzskatīti par drošiem un tiek apstiprināti bez moderācijas.

Par sliekšņu izvēli parasti:

• Tiek veidotas ROC vai Precision-Recall līknes.
• Analizēti biznesa mērķi: cik daudz kļūdu ir pieņemami, cik resursu ir pieejami manuālai moderēšanai.
• Tiek veikti A/B testi ar dažādiem sliekšņiem.

Piemērs:

Darbība	Kļūdas iespējamības slieksnis
Automātiska noraidīšana	> 0.9
Manuāla moderācija	0.6 – 0.9
Automātiska apstiprināšana	< 0.6