Ce este distilarea?

Distilarea cunoștințelor (knowledge distillation) este o metodă în învățarea automată în care cunoștințele dintr-un model mare și complex (profesor) sunt transferate într-un model mai compact și mai rapid (elev). Scopul este de a păstra o precizie înaltă reducând în același timp dimensiunea și costurile computaționale ale modelului.

Procesul implică de obicei antrenarea elevului pe ieșirile profesorului (de exemplu, pe probabilitățile claselor), și nu doar pe etichetele originale. Acest lucru ajută elevul să generalizeze mai bine și să aproximeze comportamentul profesorului.

Exemplu de aplicare: o rețea neuronală mare este antrenată pe un set mare de date, apoi cunoștințele sale sunt distilate într-un model mic, care poate fi utilizat pe dispozitive mobile cu resurse limitate.