Jak wybrać próg dla automatycznego odrzucenia i próg dla ręcznej moderacji w zadaniu moderacji ogłoszeń?

Wybór progów dla automatycznego odrzucenia i ręcznej moderacji w zadaniu moderacji ogłoszeń zazwyczaj opiera się na analizie metryk jakości modelu (np. precision, recall, F1-score) oraz wymagań biznesowych dotyczących poziomu błędów.

1. Automatyczne odrzucenie (niskie ryzyko błędu): wybiera się próg, przy którym model z dużą pewnością klasyfikuje ogłoszenie jako naruszające zasady. Minimalizuje to liczbę fałszywych alarmów (false positives), aby nie blokować legalnych ogłoszeń. Zazwyczaj próg ustawia się tak, aby precision był bardzo wysoki (np. >95%).

2. Ręczna moderacja (średnie ryzyko): próg przekazania do ręcznej kontroli wybiera się w zakresie między automatycznym odrzuceniem a automatycznym przepuszczeniem. To strefa niepewności, gdzie model nie jest pewny klasyfikacji. Ważne jest wyważenie między liczbą ogłoszeń do ręcznej kontroli a jakością moderacji.

3. Automatyczne przepuszczenie (niskie ryzyko naruszenia): ogłoszenia z pewnością modelu poniżej dolnego progu są uważane za bezpieczne i przechodzą bez moderacji.

Przy wyborze progów zwykle:

• Tworzy się krzywe ROC lub Precision-Recall.
• Analizuje się cele biznesowe: ile błędów jest dopuszczalnych, ile zasobów jest dostępnych na ręczną moderację.
• Przeprowadza się testy A/B z różnymi progami.

Przykład:

Działanie	Próg prawdopodobieństwa naruszenia
Automatyczne odrzucenie	> 0.9
Ręczna moderacja	0.6 – 0.9
Automatyczne przepuszczenie	< 0.6