Τι είναι η μετατόπιση κατανομής και πώς την ανιχνεύουμε (δοκιμή KS, PSI);

Η μετατόπιση κατανομής — είναι μια αλλαγή στη κατανομή των δεδομένων με την πάροδο του χρόνου, η οποία μπορεί να οδηγήσει σε υποβάθμιση της ποιότητας του μοντέλου μηχανικής μάθησης, καθώς το μοντέλο έχει εκπαιδευτεί σε μια κατανομή, ενώ στην παραγωγή τα δεδομένα προέρχονται από άλλη.

Για την ανίχνευση της μετατόπισης κατανομής, συχνά χρησιμοποιούνται στατιστικές δοκιμές και μετρικές:

• Δοκιμή KS (Kolmogorov-Smirnov) — μια μη παραμετρική δοκιμή που συγκρίνει δύο δείγματα και ελέγχει πόσο διαφέρουν οι κατανομές τους. Αν η p-τιμή της δοκιμής είναι χαμηλή, σημαίνει ότι οι κατανομές διαφέρουν σημαντικά.

• PSI (Δείκτης Σταθερότητας Πληθυσμού) — μια μετρική που μετρά την αλλαγή στην κατανομή μιας μεταβλητής μεταξύ δύο περιόδων. Υπολογίζεται με βάση τα bins της κατανομής και δείχνει το βαθμό της μετατόπισης. Συνήθως:

  • PSI < 0.1 — ασήμαντη μετατόπιση
  • 0.1 < PSI < 0.25 — μέτρια μετατόπιση
  • PSI > 0.25 — σημαντική μετατόπιση

Παράδειγμα χρήσης της δοκιμής KS σε Python:

from scipy.stats import ks_2samp

reference_data = [...]  # δεδομένα από το δείγμα εκπαίδευσης
current_data = [...]    # νέα δεδομένα

statistic, p_value = ks_2samp(reference_data, current_data)
if p_value < 0.05:
    print("Ανιχνεύθηκε μετατόπιση κατανομής")
else:
    print("Οι κατανομές είναι παρόμοιες")

Έτσι, η τακτική παρακολούθηση των κατανομών με τη βοήθεια της δοκιμής KS και του PSI βοηθά στην έγκαιρη ανίχνευση της μετατόπισης και στην λήψη μέτρων (π.χ., επανεκπαίδευση του μοντέλου).