Kuidas kontrollida soovituste kvaliteeti ilma andmeid treeninguks ja testimiseks jagamata?

Kui andmeid ei ole võimalik jagada treening- ja testkomplektideks, saab kasutada hindamismeetodeid ilma selge jagamiseta, näiteks:

• Ristvalidatsioon: andmeid jagada mitmesse ossa ja iga kord kasutada üht osa testina, ülejäänud treeninguna.
• Offline-mõõdikutel põhinev hindamine: kasutada mõõdikuid, mis ei nõua eraldi testkomplekti, näiteks Precision@K, Recall@K, MAP, NDCG, mis arvutatakse ajalooliste andmete põhjal.
• A/B testide kasutamine: kui süsteem juba töötab, saab hinnata soovituste kvaliteeti reaalsetel kasutajatel, võrdledes erinevaid variatsioone.
• Bootstrap meetodid: juhuslik valik koos tagasipöördumisega, et hinnata mudeli stabiilsust.

Nii saab isegi ilma selge train/test jagamiseta saada ettekujutuse soovituste kvaliteedist, kasutades statistilisi meetodeid ja veebipõhiseid katseid.