Kā pārbaudīt ieteikumu kvalitāti, nesadalot datus uz treniņu un testu?

Ja nav iespējams sadalīt datus uz train un test, var izmantot novērtēšanas metodes bez skaidras sadalīšanas, piemēram:

• Krosvalidācija: sadalīt datus vairākās daļās un katru reizi izmantot kā testu, pārējās kā apmācību.
• Offline metriku novērtējums: izmantot metriku, kas neprasa atsevišķu testu kopu, piemēram, Precision@K, Recall@K, MAP, NDCG, kas aprēķinātas uz vēsturiskajiem datiem.
• A/B testu izmantošana: ja sistēma jau darbojas, var novērtēt ieteikumu kvalitāti reālos lietotājos, salīdzinot dažādas variācijas.
• Bootstrap metodes: nejaušas izlases ar atgriešanos, lai novērtētu modeļa stabilitāti.

Tādējādi, pat ja nav skaidras train/test sadalīšanas, var iegūt priekšstatu par ieteikumu kvalitāti, izmantojot statistikas metodes un tiešsaistes eksperimentus.