İlan moderasyon görevinde otomatik reddetme eşiği ve manuel moderasyon eşiği nasıl seçilir?

İlan moderasyon görevi için otomatik reddetme ve manuel moderasyon eşiklerinin seçimi genellikle model kalitesi metriklerinin (örneğin, doğruluk, geri çağırma, F1 skoru) ve hata seviyesine ilişkin iş gereksinimlerinin analizine dayanır.

1. Otomatik reddetme (düşük hata riski): Modelin, kuralları ihlal eden bir ilanı yüksek güvenle sınıflandırdığı eşik seçilir. Bu, yanlış pozitiflerin (yanlış alarm) sayısını en aza indirerek meşru ilanların engellenmesini önler. Genellikle, eşik, doğruluğun çok yüksek olduğu şekilde ayarlanır (örneğin, >95%).

2. Manuel moderasyon (orta risk): Manuel incelemeye iletmek için eşik, otomatik reddetme ile otomatik geçiş arasındaki aralıkta seçilir. Bu, modelin sınıflandırmada emin olmadığı belirsizlik bölgesidir. Burada, manuel inceleme yapılan ilanların sayısı ve moderasyon kalitesi arasında denge önemlidir.

3. Otomatik geçiş (düşük ihlal riski): Modelin güveni, alt eşikten düşük olan ilanlar güvenli kabul edilir ve moderasyonsuz geçer.

Eşiklerin seçimi genellikle:

• ROC veya Precision-Recall eğrileri çizilir.
• İş hedefleri analiz edilir: kaç hata tolere edilebilir, manuel moderasyon için ne kadar kaynak var.
• Farklı eşiklerle A/B testleri yapılır.

Örnek:

Eylem	İhlal olasılığı eşiği
Otomatik reddetme	> 0.9
Manuel moderasyon	0.6 – 0.9
Otomatik geçiş	< 0.6