Mis on destilleerimine?

Knowledge distillation on meetod masinõppes, kus suur ja keeruline mudel (õpetaja) edastab teadmisi kompaktsemale ja kiiremale mudelile (õpilane). Eesmärk on säilitada kõrge täpsus, vähendades mudeli suurust ja arvutuslikke kulusid.

Protsess hõlmab tavaliselt õpilase treenimist õpetaja väljundite põhjal (näiteks klasside tõenäosuste põhjal), mitte ainult algsete märkide põhjal. See aitab õpilasel paremini üldistada ja läheneda õpetaja käitumisele.

Näide: suur närvivõrk treenitakse suurel andmekogul ning seejärel distilleeritakse selle teadmised väiksemale mudelile, mida saab kasutada piiratud ressurssidega mobiilseadmetes.