Kako proveriti kvalitet preporuka bez deljenja podataka na trening i test?

Ако није могуће поделити податке на train и test, можете користити методе процене квалитета препорука без јасног раздвајања, на пример:

• Крос-валидација: поделити податке на неколико делова и редовно користити сваки као тест, остале као обуку.
• Оцена на основу офлајн метрика: користити метрике које не захтевају посебан тест скуп, као што су Precision@K, Recall@K, MAP, NDCG, израчунате на историјским подацима.
• Користите A/B тестове: ако систем већ ради, можете проценити квалитет препорука на стварним корисницима, поредећи различите варијанте.
• Методе bootstrap: случајни узорак са враћањем за процену стабилности модела.

На овај начин, чак и без јасног train/test раздвајања, можете добити представу о квалитету препорука коришћењем статистичких метода и онлајн експеримената.