Тозакунӣ чист?

Дестилатсияи дониш (knowledge distillation) усули дар омӯзиши мошин аст, ки дар он донишҳои аз модели калон ва мураккаб (муаллим) гирифташуда ба модели хурд ва тезтар (хонанда) интиқол дода мешавад. Ҳадаф нигоҳ доштани дақиқии баланд бо кам кардани андоза ва хароҷоти ҳисоббарорӣ мебошад.

Раванди одатан дар бар мегирад омӯзиши хонанда дар баромадҳои муаллим (масалан, дар эҳтимолиятҳои синфҳо), на танҳо дар тамғакунӣҳои аслӣ. Ин кӯмак мекунад, ки хонанда беҳтар умумӣ кунад ва рафтори муаллимро наздик кунад.

Маслиҳат барои истифода: як шабакаи нейронӣ дар маҷмӯи маълумоти калон омӯзонида мешавад, ва пас донишҳои он дар моделҳои хурдтар дистил мешаванд, ки метавонанд дар дастгоҳҳои мобилӣ бо захираҳои маҳдуд истифода шаванд.