Jak ověřit kvalitu doporučení bez rozdělení dat na trénink a test?

Pokud není možné data rozdělit na tréninková a testovací, lze použít metody hodnocení kvality doporučení bez explicitního rozdělení, například:

• Křížová validace: rozdělit data na několik částí a postupně používat každou jako test, zbytek jako trénink.
• Hodnocení na základě offline metrik: používat metriky, které nevyžadují samostatný testovací set, například Precision@K, Recall@K, MAP, NDCG, vypočítané na historických datech.
• Použití A/B testování: pokud systém již funguje, lze hodnotit kvalitu doporučení na reálných uživatelích, porovnáváním různých variant.
• Bootstrapové metody: náhodný výběr s vracením pro hodnocení stability modelu.

Tímto způsobem lze i bez explicitního rozdělení train/test získat představu o kvalitě doporučení pomocí statistických metod a online experimentů.