Hoe controleer je de kwaliteit van aanbevelingen zonder de gegevens op te splitsen in training en test?

Als het niet mogelijk is om gegevens te splitsen in train en test, kunnen evaluatiemethoden voor aanbevelingskwaliteit zonder expliciete verdeling worden gebruikt, bijvoorbeeld:

• Kruisvalidatie: gegevens in meerdere delen splitsen en elk deel afwisselend gebruiken als test, de rest als training.
• Evaluatie op basis van offline-metrics: metrics gebruiken die geen aparte testset vereisen, zoals Precision@K, Recall@K, MAP, NDCG, berekend op historische gegevens.
• Gebruik van A/B-tests: als het systeem al draait, kan de kwaliteit van aanbevelingen worden beoordeeld op echte gebruikers, door verschillende varianten te vergelijken.
• Bootstrap-methoden: willekeurige steekproeven met teruglegging om de stabiliteit van het model te beoordelen.

Op deze manier, zelfs zonder expliciete train/test-splitsing, kan een idee worden verkregen over de kwaliteit van aanbevelingen door statistische methoden en online experimenten te gebruiken.