როგორ შევამოწმოთ რეკომენდაციების ხარისხი მონაცემების გაყოფის გარეშე ტრენინგსა და ტესტზე?

Եթե տվյալները բաժանել հնարավոր չէ train և test, ապա կարելի է օգտագործել գնահատման մեթոդներ առանց բացահայտ բաժանման, օրինակ՝

• Կրոս-վալիդացիա՝ տվյալները բաժանել մի քանի մասի և հերթով օգտագործել յուրաքանչյուրին որպես թեստ, մնացածը՝ որպես ուսուցում:
• Անցանց մետրիկների վրա հիմնված գնահատում՝ օգտագործել մետրիկներ, որոնք չեն պահանջում առանձին թեստային հավաքածու, օրինակ՝ Precision@K, Recall@K, MAP, NDCG, որոնք հաշվվում են պատմական տվյալների վրա:
• A/B փորձարկումների օգտագործում՝ եթե համակարգը արդեն աշխատում է, կարող եք գնահատել առաջարկությունների որակը իրական օգտվողների վրա, համեմատելով տարբեր տարբերակներ:
• Բուտստրապ մեթոդներ՝ պատահական նմուշառում հետադարձմամբ՝ մոդելի կայունությունը գնահատելու համար:

Այսպիսով, նույնիսկ առանց բացահայտ train/test բաժանման, կարելի է ստանալ առաջարկությունների որակի մասին պատկերացում՝ օգտագործելով վիճակագրական մեթոդներ և առցանց փորձեր: