Шта је дестилација?

Дестилација знања (knowledge distillation) је метода у машинском учењу у којој се знања из великог, сложеног модела (учитеља) преносе у компактнији и бржи модел (ученик). Циљ је да се одржи висока тачност уз смањење величине и трошкова рачунања модела.

Обично процес укључује тренирање ученика на излазима учитеља (нпр. на вероватноћама класа), а не само на оригиналним етикетама. Ово помаже ученику да боље генерализује и приближи понашање учитеља.

Пример примене: велика неуронска мрежа се тренира на великом скупу података, а затим њена знања дестилирају у мали модел, који се може користити на мобилним уређајима са ограниченим ресурсима.