Чӣ гуна тағйири тақсимот ва чӣ гуна онро ошкор кардан (KS-test, PSI)?

Пешрафти тақсимот — ин тағйирёбии тақсимоти маълумотҳо дар муддати вақт аст, ки метавонад ба паст шудани сифати модели омӯзиши мошинӣ оварда расонад, зеро модел дар як тақсимот омӯзонида шудааст, дар ҳоле ки дар истеҳсолот маълумотҳо аз дигар манбаъ меоянд.

Барои ошкор кардани пешрафти тақсимот, одатан тестҳои статистикӣ ва метрикҳо истифода мешаванд:

• Тест KS (Kolmogorov-Smirnov) — тести ғайрипараметрӣ, ки ду намунаро муқоиса мекунад ва муайян мекунад, ки то чӣ андоза тақсимотҳои онҳо фарқ мекунанд. Агар арзиши p-и тест паст бошад, ин маънои онро дорад, ки тақсимотҳо назар ба ҳам фарқ мекунанд.

• PSI (Индекси устувории аҳолӣ) — метрика, ки тағирот дар тақсимоти тағйирёбанда байни ду даврро андозагирӣ мекунад. PSI бо истифода аз биниҳои тақсимот ҳисоб карда мешавад ва дараҷаи ҳаракатро нишон медиҳад. Аксаран:

  • PSI < 0.1 — ҳаракати ночиз
  • 0.1 < PSI < 0.25 — ҳаракати миёна
  • PSI > 0.25 — ҳаракати муҳим

Масалан, истифодаи тести KS дар Python:

from scipy.stats import ks_2samp

reference_data = [...]  # маълумот аз намунаи омӯзишӣ
current_data = [...]    # маълумоти нав

statistic, p_value = ks_2samp(reference_data, current_data)
if p_value < 0.05:
    print("Пешрафти тақсимот ошкор шуд")
else:
    print("Тақсимотҳо монанданд")

Тавре ки мебинем, назорати мунтазами тақсимотҳо бо ёрии тести KS ва PSI кӯмак мекунад, ки пешрафтро дар вақти мувофиқ ошкор ва чораҳо андешем (масалан, моделро такроран омӯзонем).