Já encontrou uma fuga de dados durante o treino do modelo?

Sim, o vazamento de dados (data leakage) durante o treino do modelo é um problema comum, quando informações que não estão disponíveis em condições reais de uso do modelo entram nos dados de treino. Isso leva a overfitting e a uma avaliação inflacionada da qualidade.

Exemplo: ao prever o risco de crédito, pode haver uma característica no conjunto de treino que esteja diretamente relacionada com a decisão de conceder o crédito (por exemplo, o estado de aprovação), que na vida real não é conhecido no momento da previsão.

Para evitar o vazamento de dados, é importante:

• Separar claramente os dados de treino e teste por tempo ou outros critérios.
• Excluir características que contenham informações sobre a variável alvo ou eventos futuros.
• Realizar uma análise minuciosa das características e da lógica de negócio.

Na prática, já enfrentei vazamentos ao trabalhar com séries temporais, quando dados do futuro acidentalmente entravam no conjunto de treino, levando a métricas irrealisticamente altas.