Wie wählt man die Schwelle für die automatische Ablehnung und die Schwelle für die manuelle Moderation bei der Anzeigenmoderation?

Die Auswahl der Schwellenwerte für die automatische Ablehnung und die manuelle Moderation in der Anzeigenmoderationsaufgabe basiert in der Regel auf der Analyse von Modellqualitätsmetriken (z. B. Präzision, Recall, F1-Score) und den geschäftlichen Anforderungen an das Fehlerniveau.

1. Automatische Ablehnung (geringes Fehlerrisiko): Es wird ein Schwellenwert gewählt, bei dem das Modell eine Anzeige mit hoher Zuverlässigkeit als Regelverstoß klassifiziert. Dies minimiert die Anzahl der Fehlalarme (False Positives), um legitime Anzeigen nicht zu blockieren. Der Schwellenwert wird meist so gesetzt, dass die Präzision sehr hoch ist (z. B. >95%).

2. Manuelle Moderation (mittleres Risiko): Der Schwellenwert für die Weiterleitung zur manuellen Überprüfung wird im Bereich zwischen automatischer Ablehnung und automatischer Freigabe gewählt. Dies ist eine Unsicherheitszone, in der das Modell bei der Klassifikation unsicher ist. Hier ist ein Gleichgewicht zwischen der Anzahl der Anzeigen zur manuellen Überprüfung und der Moderationsqualität wichtig.

3. Automatische Freigabe (geringes Verletzungsrisiko): Anzeigen mit einer Modellzuverlässigkeit unterhalb des unteren Schwellenwerts gelten als sicher und werden ohne Moderation freigegeben.

Zur Wahl der Schwellenwerte:

• Es werden ROC- oder Precision-Recall-Kurven erstellt.
• Es werden die Geschäftsziele analysiert: Wie viele Fehler sind akzeptabel, welche Ressourcen stehen für die manuelle Moderation zur Verfügung.
• Es werden A/B-Tests mit verschiedenen Schwellenwerten durchgeführt.

Beispiel:

Aktion	Schwellenwert für Verletzungswahrscheinlichkeit
Automatische Ablehnung	> 0.9
Manuelle Moderation	0.6 – 0.9
Automatische Freigabe	< 0.6