Dağılım kayması nedir ve nasıl tespit edilir (KS testi, PSI)?

Dağılım kayması — zamanla verilerin dağılımında meydana gelen değişikliktir ve bu, makine öğrenimi modelinin kalitesini düşürebilir çünkü model bir dağılım üzerinde eğitilmiştir, ancak üretimde veriler başka bir kaynaktan gelir.

Dağılım kaymasını tespit etmek için sıklıkla istatistiksel testler ve metrikler kullanılır:

• KS testi (Kolmogorov-Smirnov testi) — iki örneği karşılaştıran ve dağılımların ne kadar farklı olduğunu kontrol eden parametrik olmayan bir testtir. Testin p-değeri düşükse, dağılımlar önemli ölçüde farklıdır.

• PSI (Nüfus Stabilite İndeksi) — bir değişkenin iki dönem arasındaki dağılım değişimini ölçen bir metriktir. PSI, dağılımın binleri kullanılarak hesaplanır ve kayma derecesini gösterir. Genellikle:

  • PSI < 0.1 — önemsiz kayma
  • 0.1 < PSI < 0.25 — orta derecede kayma
  • PSI > 0.25 — önemli kayma

Python'da KS testinin kullanımına örnek:

from scipy.stats import ks_2samp

reference_data = [...]  # eğitim örneğinden veriler
current_data = [...]    # yeni veriler

statistic, p_value = ks_2samp(reference_data, current_data)
if p_value < 0.05:
    print("Dağılım kayması tespit edildi")
else:
    print("Dağılımlar benzer")

Bu şekilde, KS testi ve PSI kullanılarak düzenli dağılım izleme, kaymayı zamanında tespit etmeye ve önlem almaya yardımcı olur (örneğin, modeli yeniden eğitmek).