Como escolher o limiar para rejeição automática e o limiar para moderação manual na tarefa de moderação de anúncios?

A seleção de limiares para rejeição automática e moderação manual na tarefa de moderação de anúncios geralmente baseia-se na análise de métricas de qualidade do modelo (por exemplo, precisão, recall, pontuação F1) e nos requisitos comerciais em relação ao nível de erros.

1. Rejeição automática (baixo risco de erro): escolhe-se um limiar em que o modelo classifica com alta confiança um anúncio como violador das regras. Isso minimiza o número de falsos positivos, para não bloquear anúncios legítimos. Normalmente, o limiar é definido para que a precisão seja muito alta (por exemplo, >95%).

2. Moderação manual (risco médio): o limiar para passar para revisão manual é escolhido numa faixa entre a rejeição automática e a aprovação automática. É uma zona de incerteza onde o modelo não está seguro na classificação. Aqui, é importante equilibrar a quantidade de anúncios em revisão manual e a qualidade da moderação.

3. Aprovação automática (baixo risco de incumprimento): anúncios com confiança do modelo abaixo do limiar inferior são considerados seguros e passam sem moderação.

Para a escolha de limiares, geralmente:

• Constrói-se curvas ROC ou de Precisão-Recall.
• Analisa-se os objetivos comerciais: quantos erros são toleráveis, quantos recursos estão disponíveis para moderação manual.
• Realizam-se testes A/B com diferentes limiares.

Exemplo:

Ação	Limiar de probabilidade de violação
Rejeição automática	> 0.9
Moderação manual	0.6 – 0.9
Aprovação automática	< 0.6