Kaip patikrinti rekomendacijų kokybę nesidalijant duomenų į treniruotę ir testą?

Jei nėra galimybės padalyti duomenis į train ir test, galima naudoti vertinimo metodus be aiškaus padalijimo, pavyzdžiui:

• Kryžminė validacija: duomenis padalinti į kelias dalis ir po vieną naudoti kaip testą, likusias kaip mokymą.
• Offline metrikų pagrindu vertinimas: naudoti metrikas, kurios nereikalauja atskiro testavimo rinkinio, pvz., Precision@K, Recall@K, MAP, NDCG, apskaičiuojamas pagal istoriniais duomenis.
• A/B testų naudojimas: jei sistema jau veikia, galima įvertinti rekomendacijų kokybę realiuose naudotojuose, lyginant skirtingas variacijas.
• Bootstrap metodai: atsitiktinis pavyzdžių pasirinkimas su grąžinimu, vertinant modelio stabilumą.

Taip pat, neturint aiškaus train/test padalijimo, galima įgyti rekomendacijų kokybės įvaizdį, naudojant statistinius metodus ir internetinius eksperimentus.