Hoe kies je de drempel voor automatische afwijzing en de drempel voor handmatige moderatie bij de advertentiemoderatie?

De selectie van drempels voor automatische afwijzing en handmatige moderatie in de taak van advertentie-moderatie is meestal gebaseerd op de analyse van modelkwaliteitsmetriek (bijvoorbeeld precisie, recall, F1-score) en zakelijke vereisten met betrekking tot het foutniveau.

1. Automatische afwijzing (laag risico op fouten): er wordt een drempel gekozen waarbij het model met hoge zekerheid een advertentie als overtredend classificeert. Dit minimaliseert het aantal valse positieven, zodat legitieme advertenties niet worden geblokkeerd. Meestal wordt de drempel zo ingesteld dat de precisie zeer hoog is (bijvoorbeeld >95%).

2. Handmatige moderatie (gemiddeld risico): de drempel voor doorgang naar handmatige controle wordt gekozen binnen het bereik tussen automatische afwijzing en automatische goedkeuring. Dit is een onzekerheidszone waar het model niet zeker is van de classificatie. Hier is het belangrijk om een balans te vinden tussen het aantal advertenties dat handmatig wordt gecontroleerd en de kwaliteit van de moderatie.

3. Automatische goedkeuring (laag risico op overtreding): advertenties met een modelvertrouwen onder de ondergrens worden als veilig beschouwd en zonder moderatie goedgekeurd.

Voor het kiezen van drempels:

• Worden ROC- of precisie-recall-curve's gemaakt.
• Worden de zakelijke doelen geanalyseerd: hoeveel fouten zijn acceptabel, hoeveel middelen zijn beschikbaar voor handmatige moderatie.
• Worden A/B-tests uitgevoerd met verschillende drempels.

Voorbeeld:

Actie	Drempel voor overtredingskans
Automatische afwijzing	> 0.9
Handmatige moderatie	0.6 – 0.9
Automatische goedkeuring	< 0.6