Quais são os problemas ao fazer backtest de modelos de séries temporais?

Durante a retrospetiva de modelos de séries temporais, surgem os seguintes problemas:

• Vazamento de dados (data leakage): usar dados futuros para treinar o modelo, o que não é aceitável para séries temporais, pois viola a cronologia.
• Instabilidade das séries temporais: sazonalidade, tendências e mudanças estruturais podem afetar a qualidade do modelo e sua capacidade de generalização.
• Escolha da janela de treino e teste correta: é necessário dividir os dados de forma adequada no tempo para evitar sobreposições e garantir uma avaliação justa.
• Autocorrelação dos erros: os erros do modelo podem depender do tempo, o que dificulta a avaliação da qualidade.
• Mudança na distribuição dos dados (concept drift): o comportamento da série temporal pode mudar com o tempo, e um modelo treinado com dados antigos pode não funcionar bem com dados novos.

Para uma retrospetiva correta, frequentemente usam-se métodos de janela deslizante (rolling window) ou janela expansiva (expanding window) para simular o processo real de previsão.