Kas ir destilācija?

Zināšanu destilācija (knowledge distillation) ir mašīnmācīšanās metode, kurā no liela, sarežģīta modeļa (skolotāja) tiek pārnestas zināšanas uz kompaktāku un ātrāku modeli (skolnieku). Mērķis ir saglabāt augstu precizitāti, samazinot modeļa izmēru un aprēķinu izmaksas.

Parasti process ietver skolnieka apmācību, balstoties uz skolotāja izejām (piemēram, klases varbūtībām), ne tikai uz sākotnējām marķierēm. Tas palīdz skolniekam labāk vispārināt un tuvināt skolotāja uzvedību.

Piemērs: liela neironu tīkls tiek apmācīts uz lielas datu kopas, un pēc tam tās zināšanas tiek distilētas mazākā modelī, ko var izmantot mobilajos ierīcēs ar ierobežotiem resursiem.