¿Qué es CV-leak y cuáles son sus fuentes?

La filtración de CV (fuga de validación cruzada) es una situación en la que, durante la validación cruzada, el modelo obtiene información de la parte de prueba de los datos, lo que conduce a una sobreestimación de la calidad del modelo y a una mala capacidad de generalización.

Las principales fuentes de filtración de CV:

• Fuga de características (Feature leakage): características que contienen información directamente o indirectamente sobre la variable objetivo, por ejemplo, características creadas utilizando datos futuros.

• Violación del orden temporal: al trabajar con series temporales, los datos del futuro se incluyen en el conjunto de entrenamiento.

• División incorrecta de datos: cuando en diferentes pliegues aparecen objetos relacionados (por ejemplo, datos de un mismo usuario o sesión), lo que conduce a una fuga de información.

• Uso de datos agregados calculados en toda la muestra, y no solo en la parte de entrenamiento.

Para evitar la filtración de CV, es necesario planificar cuidadosamente el esquema de división de datos, utilizar métodos adecuados de preprocesamiento y evitar que la información del conjunto de prueba se filtre en el entrenamiento.