Ποιες είναι οι τεχνικές offline εκπαίδευσης LTR από αρχεία κλικ (αντιφατική αξιολόγηση);

Η offline εκπαίδευση Learning to Rank (LTR) από αρχεία κλικ χρησιμοποιώντας contrafactual αξιολόγηση είναι μια προσέγγιση για την εκπαίδευση μοντέλων ταξινόμησης, όπου τα δεδομένα κλικ συλλέγονται υπό πραγματικές συνθήκες, αλλά χρησιμοποιείται μια μεθοδολογία που λαμβάνει υπόψη το σφάλμα στα δεδομένα.

Κύριες τεχνικές:

1. Αντίστροφη Βαθμολογία Προσδοκίας (IPS) — διόρθωση της επίδρασης των κλικ λαμβάνοντας υπόψη την πιθανότητα εμφάνισης ενός εγγράφου στον χρήστη. Αυτό βοηθά στην αντιστάθμιση του σφάλματος θέσης (οι θέσεις στα αποτελέσματα επηρεάζουν την πιθανότητα κλικ).

2. Διπλοί Ανθεκτικοί Εκτιμητές — συνδυάζουν το IPS με ένα μοντέλο πρόβλεψης κλικ, μειώνοντας την διακύμανση της εκτίμησης και αυξάνοντας τη σταθερότητα.

3. Contrafactual Μάθηση — εκπαίδευση του μοντέλου βάσει των logs που συλλέγονται υπό μια διαφορετική πολιτική ταξινόμησης, χρησιμοποιώντας μεθόδους αξιολόγησης που λαμβάνουν υπόψη τη διαφορά μεταξύ της τρέχουσας και της παλιάς πολιτικής.

4. Αξιολόγηση Off-policy — αξιολόγηση της ποιότητας ενός νέου μοντέλου χωρίς την ανάπτυξή του, χρησιμοποιώντας δεδομένα που συλλέγονται από ένα παλιό μοντέλο.

Παράδειγμα: αν έχετε logs κλικ σε θέσεις 1-10, για την εκπαίδευση του μοντέλου, ζυγίζετε κάθε κλικ με την αντίστροφη πιθανότητα εμφάνισης του εγγράφου σε αυτή τη θέση, ώστε να αντισταθμίσετε το γεγονός ότι οι χρήστες κλικάρουν συχνότερα στις ανώτερες θέσεις.

Έτσι, η offline εκπαίδευση LTR με contrafactual αξιολόγηση επιτρέπει την αποτελεσματική χρήση πραγματικών δεδομένων χρηστών, ελαχιστοποιώντας τα σφάλματα και βελτιώνοντας την ποιότητα ταξινόμησης χωρίς την ανάγκη συνεχών δοκιμών A/B.