Ինչպես ընտրել ավտոմատ մերժման շեմը և ձեռքով մոդերացիայի շեմը հայտարարությունների մոդերացիայի առաջադրանքում?

Ավտոմատ մերժման և ձեռքով մոդերացիայի շեմերի ընտրությունը սովորաբար հիմնված է մոդելի որակի մետրիկների (օրինակ, ճշգրտություն, recall, F1-score) և բիզնես պահանջների վրա սխալների մակարդակի վերաբերյալ:

1. Ավտոմատ մերժում (նվազագույն սխալի ռիսկ)՝ ընտրվում է շեմ, որի դեպքում մոդելը բարձր վստահությամբ դասակարգում է հայտարարությունը որպես կանոնների խախտում: Սա նվազեցնում է կեղծ դրականների քանակը, որպեսզի չխոչընդոտեն օրինական հայտարարություններին: Սովորաբար, շեմը սահմանվում է այնպես, որ ճշգրտությունը շատ բարձր լինի (օրինակ, >95%)։

2. Ճշմարտացի մոդերացիա (միջին ռիսկ)՝ շեմը ընտրվում է ավտոմատ մերժում և ավտոմատ հաստատում միջև: Սա անորոշության գոտի է, որտեղ մոդելը վստահ չէ դասակարգման մեջ: Այստեղ կարևոր է հավասարակշռել ձեռքով ստուգման հայտարարությունների քանակը և մոդերացիայի որակը:

3. Ավտոմատ հաստատում (նվազագույն խախտման ռիսկ)՝ մոդելի վստահությամբ ստորին շեմից ցածր հայտարարությունները համարվում են անվտանգ և անցնում են առանց մոդերացիայի:

Ընտրության համար՝

• Կառուցվում են ROC կամ Precision-Recall գծապատկերներ:
• Վերլուծվում են բիզնես նպատակները՝ որքան սխալ է ընդունելի, որքան ռեսուրս կա ձեռքով մոդերացիայի համար:
• Կատարվում են A/B փորձարկումներ տարբեր շեմերով:

Օրինակ՝

Գործողություն	Խախտման հավանականության շեմը
Ավտոմատ մերժում	> 0.9
Ձեռքով մոդերացիա	0.6 – 0.9
Ավտոմատ հաստատում	< 0.6