Senior

GPU da LLM inference profiling qilish (nsight, torch profiler)?

sobes.tech AI

AIdan javob

GPU da katta til modellari (LLM) inference profiling qilish uchun NVIDIA Nsight Systems va PyTorch Profiler kabi vositalardan foydalaniladi.

NVIDIA Nsight Systems GPU yuklanishi, yadroning bajarilish vaqti, xotira ishlatilishi va CPU-GPU o'zaro ta'sir haqida batafsil ma'lumot beradi. LLM inference profiling uchun:

Nsight bilan o'ralgan buyruq yordamida inference-ni ishga tushiring, masalan:

nsys profile --trace=cuda,nvtx python inference_script.py

To'plangan ma'lumotlarni Nsight Systems GUI-da tahlil qiling, quyidagilarga e'tibor bering:
- CUDA yadrolarining bajarilish vaqti
- chaqiruvlar orasidagi kechikishlar
- GPU xotira ishlatilishi

PyTorch Profiler model ichidagi operatsiyalarni batafsil profiling qilish imkonini beradi:

import torch
from torch.profiler import profile, record_function, ProfilerActivity

def inference(model, input):
    with profile(activities=[ProfilerActivity.CPU, ProfilerActivity.CUDA], record_shapes=True) as prof:
        with record_function("model_inference"):
            output = model(input)
    print(prof.key_averages().table(sort_by="cuda_time_total"))
    return output

Bu hisoblashdagi tıkanishlarni, masalan, sekin operatsiyalar yoki xotira ishlatilishining samarasizligini aniqlashga yordam beradi.

Xulosa qilib aytganda, tizim profilingi (Nsight) va framework profilingi (PyTorch Profiler) ni birlashtirish orqali GPU da LLM inference ning umumiy ishlash ko'rsatkichlarini ko'rish va tıkanishlarni optimallashtirish mumkin.

Oldingi Keyingi