Čo je to destilácia?

Destilácia znalostí (knowledge distillation) je metóda strojového učenia, pri ktorej sa znalosti z veľkého, zložitým modelu (učiteľa) prenášajú do kompaktnejšieho a rýchlejšieho modelu (študenta). Cieľom je zachovať vysokú presnosť pri znižovaní veľkosti a výpočtových nákladov modelu.

Proces zvyčajne zahŕňa tréning študenta na výstupoch učiteľa (napríklad na pravdepodobnostiach tried), nie len na pôvodných štítkoch. To pomáha študentovi lepšie generalizovať a približovať správanie učiteľa.

Príklad použitia: veľká neurónová sieť sa trénuje na veľkom dátovom súbore a potom sú jej znalosti destilované do malého modelu, ktorý možno použiť na mobilných zariadeniach s obmedzenými zdrojmi.