Məlumatların paylanmasında dəyişiklik anını necə tutmaq olar (məlumatların sürüşməsi)?

Məlumatların sürüşməsi giriş məlumatlarının və ya hədəf dəyişənin zamanla paylanmasında dəyişiklikdir və bu, modelin keyfiyyətini pisləşdirə bilər. Paylanma dəyişməsinin vaxtını aşkar etmək üçün aşağıdakı yanaşmalar tətbiq edilir:

• Məlumatların statistikalarının monitorinqi: cari məlumatların statistikalarını (orta, dispersiya, histogramlar) müntəzəm olaraq hesablamaq və tarixi məlumatlarla müqayisə etmək.
• Paylanmalar arasındakı məsafə ölçüləri: Kullback-Leibler divergansı, Jensen-Shannon divergansı, Kolmogorov-Smirnov testi kimi ölçülərdən istifadə edərək dəyişiklikləri kəmiyyətcə qiymətləndirmək.
• Xüsusi sürüşmə aşkarlama alqoritmləri: məsələn, ADWIN, DDM, EDDM, avtomatik olaraq paylanma dəyişikliklərini siqnalizə edən alqoritmlər.
• Qeydiyyat və vizuallaşdırma: məlumatlar və metrikləri zamanla saxlamaq, dəyişiklikləri vizual izləmək üçün qrafiklər hazırlamaq.
• Modelin performansını monitorinq etmək: keyfiyyət metrikalarının (dəqiqlik, F1 və s.) azalması sürüşməni göstərə bilər.

Python-da Kolmogorov-Smirnov testi ilə sürüşməni yoxlama nümunəsi:

from scipy.stats import ks_2samp

# tarixi məlumatlar və hazırkı məlumatlar xüsusiyyət dəyərlərinin massivləridir
statistic, p_value = ks_2samp(historical_data, current_data)
if p_value < 0.05:
    print("Məlumat sürüşməsi aşkar edildi")
else:
    print("Sürüşmə aşkar edilmir")

Bu səbəbdən, məlumatların və model metriklərinin müntəzəm monitorinqini qurmaq, sürüşməyə vaxtında reaksiya vermək üçün vacibdir.