Veri dağılımındaki değişiklik anını nasıl yakalarsınız (veri kayması)?

Veri kayması, giriş verilerinin veya hedef değişkenin zamanla dağılımında meydana gelen değişikliktir ve bu, model kalitesini olumsuz etkileyebilir. Dağılım değişimini tespit etmek için aşağıdaki yaklaşımlar uygulanır:

• Veri istatistiklerinin izlenmesi: Mevcut verilerin ortalama, varyans, histogramlar gibi istatistiklerini düzenli olarak hesaplayıp geçmiş verilerle karşılaştırmak.
• Dağılımlar arasındaki uzaklık ölçüleri: Kullback-Leibler divergence, Jensen-Shannon divergence, Kolmogorov-Smirnov testi gibi ölçüleri kullanarak değişiklikleri nicel olarak değerlendirmek.
• Özelleşmiş drift tespit algoritmaları: örneğin, ADWIN, DDM, EDDM, otomatik olarak dağılım değişikliğini sinyalize eden algoritmalar.
• Kayıt ve görselleştirme: verileri ve metrikleri zaman içinde saklamak, değişiklikleri görsel olarak takip etmek için grafikler oluşturmak.
• Model performansını izleme: kalite metriklerindeki (doğruluk, F1 vb.) düşüş, drift göstergesi olabilir.

Python'da Kolmogorov-Smirnov testi kullanarak drift kontrolü örneği:

from scipy.stats import ks_2samp

# historical_data ve current_data, özellik değerlerinin dizileri
statistic, p_value = ks_2samp(historical_data, current_data)
if p_value < 0.05:
    print("Veri kayması tespit edildi")
else:
    print("Kayma tespit edilmedi")

Bu nedenle, veri ve model metriklerinin düzenli izlenmesi, drift'e zamanında müdahale etmek için önemlidir.