Какво е дестилация?

Дестилация на знания (knowledge distillation) е метод в машинното обучение, при който знанията от голям, сложен модел (учител) се прехвърлят към по-компактен и бърз модел (ученик). Целта е да се запази висока точност при намаляване на размера и изчислителните разходи на модела.

Обикновено процесът включва обучение на ученика върху изходите на учителя (например, вероятностите за класове), а не само върху оригиналните етикети. Това помага на ученика да обобщава по-добре и да приближава поведението на учителя.

Пример за приложение: голяма невронна мрежа се обучава върху голям набор от данни, след което знанията й се дестилират в малък модел, който може да се използва на мобилни устройства с ограничени ресурси.