¿Alguna vez ha encontrado una fuga de datos durante el entrenamiento del modelo?

Sí, la fuga de datos (data leakage) durante el entrenamiento del modelo es un problema común, cuando la información que no está disponible en condiciones reales de uso del modelo se incluye en los datos de entrenamiento. Esto conduce a un sobreajuste y a una estimación inflada de la calidad.

Ejemplo: al predecir el riesgo crediticio, puede aparecer una característica en el conjunto de entrenamiento que esté directamente relacionada con la decisión de otorgar un crédito (por ejemplo, el estado de aprobación), que en la vida real no se conoce en el momento de la predicción.

Para evitar la fuga de datos, es importante:

• Separar claramente los datos de entrenamiento y prueba por tiempo u otros criterios.
• Excluir características que contengan información sobre la variable objetivo o eventos futuros.
• Realizar un análisis exhaustivo de las características y la lógica empresarial.

En la práctica, he enfrentado fugas al trabajar con series temporales, cuando datos del futuro accidentalmente se incluían en el conjunto de entrenamiento, lo que conducía a métricas irrealistamente altas.