Kas ir torch.compile un kādu backend'u tas izmanto?

torch.compile — ir funkcija PyTorch, kas ļauj kompilēt modeli, lai paātrinātu tā izpildi. Tā pārveido dinamisko PyTorch modeli par optimizētu statisku grafiku, kas uzlabo veiktspēju.

Kā backend, torch.compile izmanto TorchDynamo kompilatoru, kas analizē un optimizē modeļa kodu, un pēc tam var piemērot dažādas backend optimizācijas, tostarp:

• Inductor — backend, kas orientēts uz CPU un GPU, kas ģenerē efektīvu mašīnkodu.
• NVFuser — CUDA kodolu optimizācijai uz GPU.

Tādējādi, torch.compile ļauj automātiski paātrināt modeļus uz GPU (CUDA) un CPU, izmantojot mūsdienu kompilācijas un optimizācijas tehnoloģijas PyTorch.

Piemērs lietošanai:

import torch

model = MyModel()
compiled_model = torch.compile(model)
output = compiled_model(input_tensor)