Таратуу өзгөрүүсү эмне жана аны кантип аныктоо керек (KS-тест, PSI)?

Тараптануу — бул маалыматтын бөлүштүрүлүшүнүн убакыттын өтүшү менен өзгөрүшү, ал машиналык үйрөнүү моделинин сапатына терс таасирин тийгизиши мүмкүн, анткени модель бир бөлүштүрүүдө окутулган, ал эми өндүрүштөгү маалыматтар башка булактан келет.

Тараптануу өзгөрүшүн аныктоо үчүн көбүнчө статистикалык тесттер жана метрикалар колдонулат:

• KS тест (Kolmogorov-Smirnov тест) — эки үлгүдү салыштырып, алардын бөлүштүрүүлөрүнүн канчалык айырмаланганын текшерет. Эгер тесттин p-баалуусу төмөн болсо, бул бөлүштүрүүлөр маанилүү айырмаланганын билдирет.

• PSI (Эл калкынын туруктуулук индекси) — бир өзгөрмөнүн бөлүштүрүүлөрүнүн эки мезгил аралыгындагы өзгөрүшүн өлчөөчү метрика. PSI бөлүштүрүү биндери аркылуу эсептелип, жылыштын даражасын көрсөтөт. Адатта:

  • PSI < 0.1 — майда жылыш
  • 0.1 < PSI < 0.25 — ортоңку жылыш
  • PSI > 0.25 — маанилүү жылыш

Pythonдо KS тестин колдонуу мисалы:

from scipy.stats import ks_2samp

reference_data = [...]  # машыгуу үлгүсүнүн маалыматтары
current_data = [...]    # жаңы маалыматтар

statistic, p_value = ks_2samp(reference_data, current_data)
if p_value < 0.05:
    print("Бөлүштүрүү жылышы аныкталды")
else:
    print("Бөлүштүрүүлөр окшош")

Ушул ыкма менен KS тести жана PSI аркылуу туруктуу мониторинг жүргүзүү, жылышты эрте аныктап, чара көрүүгө жардам берет (мисалы, моделди кайра үйрөтүү).