Hogyan ellenőrizhetjük az ajánlások minőségét anélkül, hogy az adatokat tréningre és tesztre osztanánk?

Ha nem lehetséges az adatok train és teszt felosztása, akkor a minőségi értékelési módszereket használhatja a javaslatok értékének mérésére anélkül, hogy egyértelmű felosztást végezne, például:

• Keresztes validáció: az adatokat több részre osztja, és mindegyiket tesztként használja, a többit pedig tanulásra.
• Offline metrikákon alapuló értékelés: olyan metrikákat használjon, amelyek nem igényelnek külön tesztkészletet, például Precision@K, Recall@K, MAP, NDCG, amelyek történelmi adatokon alapulnak.
• A/B tesztek alkalmazása: ha a rendszer már működik, értékelheti a javaslatok minőségét valódi felhasználókon, különböző változatokat összehasonlítva.
• Bootstrap módszerek: véletlenszerű mintavétel visszatevéssel a modell stabilitásának értékelésére.

Így, még egyértelmű train/test felosztás nélkül is, statisztikai módszerek és online kísérletek segítségével képet kaphat a javaslatok minőségéről.