Mi az a torch.compile és melyik backend-et használja?

torch.compile — ez egy funkció a PyTorch-ban, amely lehetővé teszi egy modell fordítását a futásának gyorsítása érdekében. Átalakítja a dinamikus PyTorch modellt egy optimalizált statikus gráfra, ami növeli a teljesítményt.

Backendként a torch.compile a TorchDynamo fordítót használja, amely elemzi és optimalizálja a modell kódját, majd különböző backend-optimalizációkat alkalmazhat, többek között:

• Inductor — CPU és GPU irányított backend, amely hatékony gépi kódot generál.
• NVFuser — a CUDA magok optimalizálására GPU-n.

Így a torch.compile lehetővé teszi a modellek automatikus gyorsítását GPU (CUDA) és CPU-n, a PyTorch modern fordítási és optimalizációs technológiáit használva.

Használati példa:

import torch

model = MyModel()
compiled_model = torch.compile(model)
output = compiled_model(input_tensor)