Zašto je važno tokom destilacije tražiti slične slojeve kod učitelja i učenika?

У процесу дистилације модела, важно је тражити сличне слојеве код учитеља и ученика како би се ефикасно пренело знање са већег и сложенијег модела (учитеља) на компактнији (ученика). Усклађивање сличних слојева омогућава ученику да учи из међупредстава која формира учитељ, а не само из коначних излаза. Ово помаже ученику да боље реплицира понашање учитеља, побољшавајући квалитет и способност генерализације модела са мање ресурса.

На пример, ако учитељ и ученик имају конволуционе слојеве са сличним функцијама, може се натерати ученика да минимизује разлику у активирањима тих слојева, што подстиче дубљи пренос знања у односу на једноставно копирање логит излаза.

Стога, тражење сличних слојева помаже да:

• се ускладе унутрашње представе модела
• се побољша ефикасност учења ученика
• се смањи губитак информација током дистилације

Ово је посебно важно када се архитектуре учитеља и ученика разликују, и када је потребно пронаћи тачке контакта за пренос знања.