Можно ли дистиллировать между сильно отличающимися архитектурами, например, ResNet и трансформером?

Да, дистилляция знаний (knowledge distillation) между сильно отличающимися архитектурами, например, между ResNet (сверточная сеть) и трансформером, возможна и применяется на практике.

Основная идея дистилляции — обучить более компактную или специализированную модель (студента) имитировать поведение более мощной модели (учителя), передавая ей «мягкие» предсказания или промежуточные представления.

При дистилляции между разными архитектурами важно:

• Выбрать подходящий формат знаний для передачи: выходные вероятности, логиты, промежуточные фичи.
• Согласовать размерность и форму передаваемых данных (например, через адаптеры или проекции).
• Настроить баланс между обучением на оригинальных метках и на знаниях учителя.

Пример: трансформер может выступать учителем для сверточной модели, передавая ей более информативные распределения вероятностей, что помогает студенту лучше обобщать.

Таким образом, архитектурные различия не являются препятствием для дистилляции, хотя требуют дополнительной настройки и адаптации.