Təzyiq nədir?

Knowledge distillation (bilgi damıtma) maşın öyrənməsində istifadə olunan bir metod olub, burada böyük və mürəkkəb bir modeldən (müəllim) alınan biliklər daha kiçik və sürətli bir modelə (şagird) ötürülür. Məqsəd, modelin ölçüsünü və hesablama xərclərini azaldaraq yüksək dəqiqliyi qorumaqdır.

Proses adətən müəllimin çıxışlarına (məsələn, sinif ehtimalları) əsaslanaraq şagirdi öyrətməyi əhatə edir, yalnız ilkin etiketlərə yox. Bu, şagirdin daha yaxşı ümumiləşdirməsinə və müəllimin davranışını yaxınlaşdırmasına kömək edir.

Tətbiq nümunəsi: böyük neyron şəbəkə böyük məlumat dəstində öyrədilir və sonra onun bilikləri kiçik modelə distill edilir, bu model məhdud resurslara malik mobil cihazlarda istifadə oluna bilər.