Что такое pruning для уменьшения размера модели?

Pruning (обрезка) — это техника оптимизации нейронных сетей, направленная на уменьшение размера модели и повышение её эффективности. Суть метода заключается в удалении незначимых или маловажных параметров (например, весов с малыми значениями), которые мало влияют на итоговое качество модели.

Это позволяет:

• Снизить требования к памяти и вычислительным ресурсам,
• Ускорить инференс,
• Упростить модель для использования на устройствах с ограниченными ресурсами (edge, mobile).

Пример: после обучения модели можно проанализировать веса и занулить те, которые ниже определённого порога, затем дообучить модель для восстановления качества.

# Пример простого pruning с использованием PyTorch
import torch
import torch.nn.utils.prune as prune

model = ...  # обученная модель

# Применяем глобальный pruning, зануляя 20% наименее значимых весов
parameters_to_prune = []
for name, module in model.named_modules():
    if isinstance(module, torch.nn.Linear):
        parameters_to_prune.append((module, 'weight'))

prune.global_unstructured(
    parameters_to_prune,
    pruning_method=prune.L1Unstructured,
    amount=0.2,
)

# После этого модель можно сохранить и использовать с меньшим размером.