Wie überprüft man die Qualität der Empfehlungen, ohne die Daten in Training und Test zu unterteilen?

Wenn keine Möglichkeit besteht, die Daten in Training und Test zu unterteilen, können Bewertungsmethoden für die Empfehlungsqualität ohne explizite Aufteilung verwendet werden, z.B.:

• Kreuzvalidierung: Daten in mehrere Teile aufteilen und jeden nacheinander als Test verwenden, die restlichen als Training.
• Bewertung anhand Offline-Metriken: Metriken verwenden, die keinen separaten Testdatensatz erfordern, z.B. Precision@K, Recall@K, MAP, NDCG, berechnet auf historischen Daten.
• Verwendung von A/B-Tests: Wenn das System bereits läuft, kann die Empfehlungsqualität bei echten Nutzern bewertet werden, indem verschiedene Varianten verglichen werden.
• Bootstrap-Methoden: Zufällige Stichproben mit Zurücklegen zur Bewertung der Stabilität des Modells.

Auf diese Weise kann man auch ohne expliziten Train/Test-Split eine Vorstellung von der Empfehlungsqualität gewinnen, indem man statistische Methoden und Online-Experimente nutzt.