Дистилляция деген эмне?

Билим дистилляциясы (knowledge distillation) — машиналык үйрөнүүдө колдонулган ыкма, анда чоң, татаал моделден (мугалим) алынган билимдер көбүрөөк компакт жана тез моделге (жигитке) өткөрүлөт. Максаты — моделдин өлчөмүн жана эсептөө чыгымдарын кыскартуу менен жогорку тактыкты сактоо.

Процесс көбүнчө мугалимдин чыгыштарына (мисалы, класстардын мүмкүнчүлүктөрүнө) негизделип, студентти окутууну камтыйт, гана түпкү белгилерге эмес. Бул студентке жакшыраак жалпылоо жана мугалимдин жүрүм-турумун жакындаштыруу үчүн жардам берет.

Колдонмо мисалы: чоң нейрондук тармак чоң маалымат топтомунда окутулат, андан соң анын билимдери кичинекей моделге дистилделенет, ал ресурстары чектелген мобилдик түзмөктөрдө колдонулушу мүмкүн.