Čo je knowledge distillation pre edge?

Destilácia vedomostí pre edge je metóda kompresie a optimalizácie veľkých modelov strojového učenia na spustenie na zariadeniach s obmedzenými zdrojmi (edge zariadenia, napríklad mobilné telefóny, IoT).

Myšlienka je trénovať kompaktný "študent" model, ktorý napodobňuje správanie veľkého "učiteľského" modelu, pričom si zachováva vysokú presnosť, ale vyžaduje menej výpočtových zdrojov a pamäti.

Toto umožňuje:

• Spúšťať zložité modely na zariadeniach s obmedzenou výkonnosťou a spotrebou energie.
• Znížiť oneskorenie pri spracovaní dát, pretože výpočty prebiehajú lokálne.
• Zvýšiť súkromie, pretože nie je potrebné odosielať dáta do cloudu.

Príklad: veľká neurónová sieť sa trénuje na serveri, potom jej znalosti sa prenášajú cez destiláciu do malého modelu, ktorý sa nasadí na smartfón pre rozpoznávanie reči alebo obrázkov.