Πώς να ελέγξετε την ποιότητα των συστάσεων χωρίς να διαχωρίσετε τα δεδομένα σε εκπαίδευση και δοκιμή;

Εάν δεν είναι δυνατή η διαίρεση των δεδομένων σε train και test, μπορείτε να χρησιμοποιήσετε μεθόδους αξιολόγησης της ποιότητας των συστάσεων χωρίς σαφή διαχωρισμό, για παράδειγμα:

• Διασταύρωση επικύρωσης: διαχωρίστε τα δεδομένα σε πολλά τμήματα και χρησιμοποιήστε το καθένα ως δοκιμαστικό, τα υπόλοιπα ως εκπαιδευτικά.
• Αξιολόγηση με βάση offline μετρικές: χρησιμοποιήστε μετρικές που δεν απαιτούν ξεχωριστό σύνολο δοκιμής, όπως το Precision@K, Recall@K, MAP, NDCG, που υπολογίζονται σε ιστορικά δεδομένα.
• Χρήση δοκιμών A/B: αν το σύστημα λειτουργεί ήδη, μπορείτε να αξιολογήσετε την ποιότητα των συστάσεων σε πραγματικούς χρήστες, συγκρίνοντας διαφορετικές παραλλαγές.
• Μέθοδοι bootstrap: τυχαία δειγματοληψία με επιστροφή για την αξιολόγηση της σταθερότητας του μοντέλου.

Έτσι, ακόμα και χωρίς σαφή διαχωρισμό train/test, μπορείτε να αποκτήσετε μια ιδέα για την ποιότητα των συστάσεων χρησιμοποιώντας στατιστικές μεθόδους και online πειράματα.