torch.compile эмне жана кайсы backend колдонулат?

torch.compile — PyTorch'ta modeldi tezleştirmek uchun modelni tərtib qilish imkonini beradigan funksiya. Bu dinamik PyTorch modelini optimallashtirilgan statik grafikaga aylantiradi, bu esa ishlashni yaxshilaydi.

Backend sifatida, torch.compile TorchDynamo tərtibçisindən foydalanadi; bu, model kodini tahlil qiladi va optimallashtiradi, va keyinchalik turli backend optimallashtirishlarini qoʻllashi mumkin, jumladan:

• Inductor — CPU va GPU uchun moʻljallangan backend, samarali mashina kodini ishlab chiqaradi.
• NVFuser — GPU'dagi CUDA yadrolarini optimallashtirish uchun.

Shu tarzda, torch.compile zamonaviy tərtib va optimallashtirish texnologiyalaridan foydalanib, GPU (CUDA) va CPU'da modellarning avtomatik tezlashtirishini ta'minlaydi.

Foydalanish misoli:

import torch

model = MyModel()
compiled_model = torch.compile(model)
output = compiled_model(input_tensor)