¿Qué es la codificación objetivo y cuáles son sus problemas (sobreajuste, filtración)?

El codificado objetivo es un método de codificación de características categóricas, en el cual a cada categoría se le asigna un valor numérico basado en las estadísticas de la variable objetivo (por ejemplo, el valor medio de la meta para esa categoría).

Ventajas:

• Permite utilizar de manera eficiente las características categóricas en modelos que trabajan con datos numéricos.
• Puede mejorar la calidad del modelo, especialmente cuando hay muchas categorías.

Problemas:

• Sobreajuste: si se usa la media de la meta en toda la muestra de entrenamiento, el modelo puede memorizar valores específicos, lo que deteriora su capacidad de generalización.
• Filtración de datos: al calcular la estadística de la meta para las categorías en toda la muestra, se produce una fuga de información de la meta a las características, lo que distorsiona la evaluación del modelo.

Cómo evitar problemas:

• Utilizar validación cruzada o suavizado al calcular el codificado objetivo.
• Aplicar métodos de regularización, como agregar ruido o usar promedios globales.

Ejemplo de codificado objetivo suavizado:

# Pseudocódigo
para cada categoría:
    valor_codificado = (suma_meta_en_categoria + media_global * suavizado) / (conteo_en_categoria + suavizado)

Por lo tanto, el codificado objetivo es una herramienta poderosa, pero requiere un uso cuidadoso para evitar el sobreajuste y la fuga de datos.