Hoe wordt inferentie geoptimaliseerd?

Optimalisatie van inferentie (het berekenen van modelvoorspellingen) is gericht op het versnellen en het verminderen van resourcekosten bij het gebruik van het model in productie. De belangrijkste benaderingen:

• Quantisatie: het verminderen van de precisie van getallen (bijvoorbeeld van float32 naar int8), wat het geheugenverbruik vermindert en de berekeningen versnelt.
• Pruning (snoeien): het verwijderen van onbelangrijke gewichten uit het model, waardoor het kleiner en eenvoudiger wordt.
• Modelcompilatie: gebruik van gespecialiseerde bibliotheken (TensorRT, ONNX Runtime) om de berekeningsgrafiek te optimaliseren.
• Batchverwerking: gelijktijdig verwerken van meerdere verzoeken om de doorvoer te verhogen.
• Resultaatcaching: als inputs zich herhalen, kunnen de inferentie-resultaten worden opgeslagen.
• Hardwareversnelling: gebruik van GPU, TPU of gespecialiseerde neurale netwerkversnellers.

Voorbeeld van quantisatie met PyTorch:

import torch
from torchvision import models

model = models.resnet18(pretrained=True)
model.eval()

# Quantisatie van het model
quantized_model = torch.quantization.quantize_dynamic(
    model, {torch.nn.Linear}, dtype=torch.qint8
)

Dit zal de grootte van het model verkleinen en de inferentie versnellen zonder significante verlies van nauwkeurigheid.