Welche Probleme gibt es beim Backtesting von Zeitreihenmodellen?

Bei der Backtesting von Zeitreihenmodellen treten folgende Probleme auf:

• Datenleckage (data leakage): Verwendung zukünftiger Daten zum Trainieren des Modells, was für Zeitreihen nicht zulässig ist, da die Chronologie verletzt wird.
• Instabilität der Zeitreihen: Saisonalität, Trends und strukturelle Verschiebungen können die Modellqualität und die Fähigkeit zur Generalisierung beeinträchtigen.
• Auswahl des richtigen Trainings- und Testfensters: Es ist notwendig, die Daten zeitlich korrekt zu trennen, um Überschneidungen zu vermeiden und eine faire Bewertung zu gewährleisten.
• Autokorrelation der Fehler: Fehler des Modells können zeitabhängig sein, was die Bewertung der Qualität erschwert.
• Änderung der Datenverteilung (concept drift): Das Verhalten der Zeitreihe kann sich im Laufe der Zeit ändern, und ein auf alten Daten trainiertes Modell kann auf neuen Daten schlecht funktionieren.

Für ein korrektes Backtesting werden häufig Methoden wie gleitendes Fenster (rolling window) oder expandierendes Fenster (expanding window) verwendet, um den tatsächlichen Prognoseprozess zu simulieren.