Waarom is het belangrijk om tijdens distillatie vergelijkbare lagen in leraar en student te zoeken?

Bij modelldistillatie is het belangrijk om vergelijkbare lagen te zoeken in de leraar en de student om kennis effectief over te dragen van een groter en complexer model (de leraar) naar een compacter model (de student). Het afstemmen van vergelijkbare lagen stelt de student in staat om te leren van de tussenliggende representaties die de leraar vormt, en niet alleen van de uiteindelijke outputs. Dit helpt de student om het gedrag van de leraar beter te reproduceren, waardoor de kwaliteit en generalisatiecapaciteit van het model worden verbeterd met minder middelen.

Bijvoorbeeld, als de leraar en de student convolutionele lagen met vergelijkbare functies hebben, kan de student worden gedwongen om het verschil in activaties van deze lagen te minimaliseren, wat een diepere kennisoverdracht bevordert dan het simpelweg kopiëren van de output logits.

Het zoeken naar vergelijkbare lagen helpt dus om:

• De interne representaties van de modellen af te stemmen
• De efficiëntie van de training van de student te verbeteren
• Het verlies van informatie tijdens distillatie te verminderen

Dit is vooral belangrijk wanneer de architecturen van de leraar en de student verschillen, en er punten van contact moeten worden gevonden voor kennisoverdracht.