Бір модельді басқа модельге қалай дистилляциялау керек?

Модельді дистилляция — бұл үлкен, күрделі модельден (оқытушы) кішірек және жылдамырақ модельге (студент) білімді беру процесі. Мақсаты — өлшемін және есептеу жүктемесін азайту кезінде болжау сапасын сақтау.

Негізгі қадамдар:

1. Оқытушы моделін бастапқы деректермен оқыту.
2. Оқытушыны пайдаланып, «жұмсақ» белгілерді (soft labels) — сыныптар бойынша ықтималдық таралымдарын — генерациялау, тек қатаң жауаптар емес.
3. Студент моделін оқыту, келесі шығын функциясын минимизациялау арқылы:
   • Студенттің болжаулары мен soft labels арасындағы айырмашылық (әдетте температурамен кросс-энтропия көмегімен).
   • Студенттің болжаулары мен шынайы белгілер арасындағы айырмашылық (бар болса).

PyTorch мысалы:

import torch
import torch.nn as nn
import torch.nn.functional as F

# оқытушы және студент — модельдер
# inputs, labels — деректер

temperature = 2.0
alpha = 0.7  # soft loss үшін салмақ

# оқытушының температурамен болжауын алу
with torch.no_grad():
    teacher_logits = teacher(inputs) / temperature
    soft_targets = F.softmax(teacher_logits, dim=1)

student_logits = student(inputs) / temperature

# soft targets үшін шығын
loss_soft = F.kl_div(F.log_softmax(student_logits, dim=1), soft_targets, reduction='batchmean') * (temperature ** 2)

# шынайы белгілер үшін шығын
loss_hard = F.cross_entropy(student(inputs), labels)

loss = alpha * loss_soft + (1 - alpha) * loss_hard

loss.backward()

Дистилляция inference жылдамдығын арттыруға және жад талаптарын азайтуға көмектеседі, сонымен бірге модельдің сапасын сақтайды.