Jak sprawdzić jakość rekomendacji bez dzielenia danych na treningowe i testowe?

Jeśli nie ma możliwości podzielenia danych na zbiór treningowy i testowy, można użyć metod oceny jakości rekomendacji bez wyraźnego podziału, na przykład:

• Walidacja krzyżowa: podział danych na kilka części i kolejno używanie każdej jako testowej, pozostałe jako treningowe.
• Ocena na podstawie metryk offline: używanie metryk, które nie wymagają oddzielnego zbioru testowego, np. Precision@K, Recall@K, MAP, NDCG, obliczanych na danych historycznych.
• Użycie testów A/B: jeśli system już działa, można ocenić jakość rekomendacji na rzeczywistych użytkownikach, porównując różne warianty.
• Metody bootstrap: losowe próbki z powrotem do oceny stabilności modelu.

W ten sposób, nawet bez wyraźnego podziału train/test, można uzyskać wyobrażenie o jakości rekomendacji, korzystając z metod statystycznych i eksperymentów online.