Πώς προφίλρετε την inference LLM σε GPU (nsight, torch profiler);

Για την προφίλ της inference μεγάλων μοντέλων γλώσσας (LLM) σε GPU, συχνά χρησιμοποιούνται εργαλεία όπως το NVIDIA Nsight Systems και το PyTorch Profiler.

NVIDIA Nsight Systems παρέχει λεπτομερείς πληροφορίες σχετικά με το φόρτο GPU, το χρόνο εκτέλεσης πυρήνα, τη χρήση μνήμης και την αλληλεπίδραση CPU-GPU. Για την προφίλ της inference LLM, πρέπει:

1. Να ξεκινήσετε την inference με μια εντολή τυλιγμένη σε nsight, π.χ.:

nsys profile --trace=cuda,nvtx python inference_script.py

2. Να αναλύσετε τα συλλεγμένα δεδομένα στο GUI του Nsight Systems, δίνοντας προσοχή σε:
   • Χρόνο εκτέλεσης CUDA πυρήνων
   • Καθυστερήσεις μεταξύ κλήσεων
   • Χρήση μνήμης GPU

PyTorch Profiler επιτρέπει την λεπτομερή προφίλ των λειτουργιών μέσα στο μοντέλο:

import torch
from torch.profiler import profile, record_function, ProfilerActivity

def inference(model, input):
    with profile(activities=[ProfilerActivity.CPU, ProfilerActivity.CUDA], record_shapes=True) as prof:
        with record_function("model_inference"):
            output = model(input)
    print(prof.key_averages().table(sort_by="cuda_time_total"))
    return output

Αυτό βοηθά στον εντοπισμό σημείων συμφόρησης στους υπολογισμούς, όπως αργές λειτουργίες ή αναποτελεσματική χρήση μνήμης.

Συνοπτικά, συνδυάζοντας την συστημική προφίλ (Nsight) και την προφίλ σε επίπεδο πλαισίου (PyTorch Profiler), μπορείτε να αποκτήσετε μια πλήρη εικόνα της απόδοσης της inference LLM σε GPU και να βελτιστοποιήσετε τα σημεία συμφόρησης.