როგორ შევარჩიოთ ავტომატური უარყოფის ზღვარი და ხელით მოდერაციის ზღვარი განცხადებების მოდერაციის დავალებაში?

Автоматты түрде қабылдамау және қолмен модерация үшін шектерді таңдау әдетте модельдің сапа метрикаларына (мысалы, дәлдік, recall, F1-score) және қателер деңгейіне қатысты бизнес талаптарына негізделеді.

1. Автоматты түрде қабылдамау (төмен қате қаупі): модель жоғары сеніммен ережелерді бұзған деп классификациялайтын шекті таңдайды. Бұл жалған оң нәтижелердің санын азайтып, заңды жарнамалардың блокталуын болдырмайды. Әдетте, шек өте жоғары орнатылады (мысалы, >95%).

2. Қолмен модерация (орташа қауіп): қолмен тексеруге беру үшін шек автоматты қабылдамау мен автоматты мақұлдаудың арасында таңдалады. Бұл белгісіздік аймағы, мұнда модель классификацияда сенімді емес. Мұнда, қолмен тексерілетін жарнамалар саны мен модерация сапасының балансын табу маңызды.

3. Автоматты түрде мақұлдау (төмен бұзушылық қаупі): модельдің сеніміне қарамастан, төменгі шектен төмен жарнамалар қауіпсіз деп саналып, модерациясыз өтеді.

Шектерді таңдау кезінде әдетте:

• ROC немесе Precision-Recall қисықтарын құру.
• Бизнестің мақсаттарын талдау: қанша қате қабылдауға болады, қанша ресурс қол жетімді.
• Әр түрлі шектермен A/B тесттер өткізу.

Мысал:

Әрекет	Бұзушылық ықтималдығы шегі
Автоматты түрде қабылдау	> 0.9
Қолмен модерация	0.6 – 0.9
Автоматты түрде мақұлдау	< 0.6