Distillash nima?

Knowledge distillation (bilim dam olish) mashin o'qishda foydalaniladigan usul bo'lib, bu yerda katta, murakkab modeldan (o'qituvchi) olingan bilimlar yanada kompakt va tezroq modelga (o'quvchi) o'tkaziladi. Maqsad — modelning o'lchamini va hisoblash xarajatlarini kamaytirgan holda yuqori aniqlikni saqlash.

Jarayon odatda o'qituvchining chiqishlariga (masalan, sinf ehtimolliklariga) asoslangan holda o'quvchini o'qitishni o'z ichiga oladi, faqat asl belgilardan emas. Bu o'quvchiga yaxshiroq umumlashtirish va o'qituvchining xatti-harakatlarini yaqinlashtirishga yordam beradi.

Qo'llash misoli: katta neyron tarmoq katta ma'lumotlar to'plamida o'qitiladi, so'ngra uning bilimlari kichik modelga distill qilinadi, uni cheklangan resurslarga ega mobil qurilmalarda ishlatish mumkin.