O que é CV-leak e quais são as suas fontes?

Vazamento de CV (Vazamento de validação cruzada) — é uma situação em que, durante a validação cruzada, o modelo obtém informações da parte de teste dos dados, levando a uma avaliação inflacionada da qualidade do modelo e a uma má capacidade de generalização.

As principais fontes de vazamento de CV:

• Vazamento de características (Feature leakage): características que contêm informações direta ou indiretamente sobre a variável alvo, por exemplo, características criadas usando dados futuros.

• Violação da ordem temporal: ao trabalhar com séries temporais, dados do futuro entram na amostra de treino.

• Divisão incorreta de dados: quando em diferentes dobras aparecem objetos relacionados (por exemplo, dados de um mesmo usuário ou sessão), levando a vazamento de informações.

• Uso de dados agregados calculados em toda a amostra, e não apenas na parte de treino.

Para evitar vazamento de CV, é necessário planejar cuidadosamente o esquema de divisão de dados, usar métodos de pré-processamento corretos e evitar que informações do teste entrem no treino.