Quels sont les moyens d'accélérer l'inférence d'un réseau neuronal (LLM) ?

Pour accélérer l'inférence des grands modèles de langage (LLM), plusieurs approches sont utilisées :

• Quantification : réduction de la précision des poids et des activations (par exemple, de FP32 à INT8 ou même INT4), ce qui réduit la volume de calculs et la mémoire.
• Pruning (élagage) : suppression des poids ou neurones insignifiants, réduisant la taille du modèle.
• Optimisation du graphe de calcul : simplification et fusion des opérations, utilisation de bibliothèques spécialisées (TensorRT, ONNX Runtime).
• Utilisation du batching : traitement de plusieurs requêtes simultanément pour une meilleure utilisation des ressources.
• Caching des résultats intermédiaires : par exemple, mise en cache des clés et valeurs dans les transformateurs lors de la génération de texte.
• Accélération matérielle : utilisation de GPU, TPU, FPGA ou accélérateurs neuronaux spécialisés.
• Distillation du modèle : création d'une version allégée du modèle en conservant la qualité.

Exemple de quantification avec PyTorch :

import torch
from torch.quantization import quantize_dynamic

model = ...  # grand LLM
quantized_model = quantize_dynamic(model, {torch.nn.Linear}, dtype=torch.qint8)