¿Cómo lidiar con los datalakes al usar codificación objetivo?

Las filtraciones de datos (data leakage) en la codificación objetivo ocurren cuando la información de la variable objetivo se filtra en las características, lo que conduce a un sobreajuste del modelo.

Para combatir las filtraciones de datos en la codificación objetivo, se aplican los siguientes métodos:

• Validación cruzada en la codificación: calcular la codificación objetivo para cada pliegue, usando solo los datos de otros pliegues, excluyendo el actual.
• Suavizado (smoothing): combinar la media de la variable objetivo por categoría con la media global para reducir el impacto de categorías raras.
• Agregar ruido: añadir ruido aleatorio a los valores codificados para reducir el sobreajuste.
• Uso de un conjunto de entrenamiento separado: calcular la codificación solo en los datos de entrenamiento y luego aplicarla a los datos de prueba.

Ejemplo de suavizado:

# Pseudocódigo
mean_global = target.mean()
count_category = df.groupby('category').size()
mean_category = df.groupby('category')['target'].mean()

smoothing = count_category / (count_category + k)
encoded_value = smoothing * mean_category + (1 - smoothing) * mean_global

De esta manera, la codificación objetivo se vuelve más robusta y reduce el riesgo de filtraciones de datos.