¿Cómo elegir el umbral para la auto-rechazo y el umbral para la moderación manual en la tarea de moderación de anuncios?

La selección de umbrales para la auto-rechazo y la moderación manual en la tarea de moderación de anuncios generalmente se basa en el análisis de métricas de calidad del modelo (por ejemplo, precisión, recall, puntuación F1) y en los requisitos comerciales respecto al nivel de errores.

1. Auto-rechazo (bajo riesgo de error): se elige un umbral en el que el modelo clasifica con alta confianza un anuncio como que viola las reglas. Esto minimiza la cantidad de falsos positivos, para no bloquear anuncios legítimos. Normalmente, el umbral se establece para que la precisión sea muy alta (por ejemplo, >95%).

2. Moderación manual (riesgo medio): el umbral para pasar a revisión manual se selecciona en un rango entre el auto-rechazo y la aprobación automática. Es una zona de incertidumbre donde el modelo no está seguro en la clasificación. Aquí, es importante equilibrar la cantidad de anuncios en revisión manual y la calidad de la moderación.

3. Aprobación automática (bajo riesgo de incumplimiento): los anuncios con confianza del modelo por debajo del umbral inferior se consideran seguros y pasan sin moderación.

Para la selección de umbrales, generalmente:

• Se construyen curvas ROC o de Precisión-Recall.
• Se analizan los objetivos comerciales: cuántos errores son aceptables, cuántos recursos hay para moderación manual.
• Se realizan pruebas A/B con diferentes umbrales.

Ejemplo:

Acción	Umbral de probabilidad de incumplimiento
Auto-rechazo	> 0.9
Moderación manual	0.6 – 0.9
Aprobación automática	< 0.6