Чаро дар равандидастӣ муҳим аст, ки қабатҳои монандро дар омӯзгор ва донишҷӯ ҷустуҷӯ кунед؟

Во процесот на дестилација на модели, важно е да се бараат слични слоеви кај учителот и кај студентот за да се пренесе ефикасно знаењето од поголем и посложен модел (учителот) кон покомпактен (студентот). Усогласувањето на сличните слоеви овозможува на студентот да учи од меѓу-репрезентациите што ги формира учителот, а не само од конечните излези. Ова помага на студентот подобро да имитира однесувањето на учителот, подобрувајќи ја квалитетот и способноста за генерализација на моделот со помалку ресурси.

На пример, ако учителот и студентот имаат конволутивни слоеви со слични функции, може да се принуди студентот да минимизира разликата во активирањата на овие слоеви, што поттикнува подлабок пренос на знаењето отколку едноставно копирање на логитите од излезот.

Затоа, барањето слични слоеви помага да:

• се усогласат внатрешните репрезентации на моделите
• се подобри ефикасноста на учењето на студентот
• се намали загубата на информации за време на дестилацијата

Ова е особено важно кога архитектурите на учителот и студентот се разликуваат, и треба да се најдат точки за контакт за пренос на знаењето.