Kas ir Tensor Cores un kādas operācijas tie paātrina?

Tensor Cores ir specializētas aparatūras bloki mūsdienu GPU (piemēram, NVIDIA Volta, Turing, Ampere), kas paredzēti, lai paātrinātu tenzoru operācijas, īpaši mašīnmācīšanās uzdevumos.

Tie ir optimizēti veikt matricas operācijas ar zemu precizitāti (FP16, INT8), kas ievērojami palielina veiktspēju neironu tīklu apmācībā un inferencē.

Galvenās operācijas, kas paātrina Tensor Cores:

• Matricas reizinājums (Matrix Multiply)
• Matricas uzkrāšana (Matrix Accumulate)

Tas ļauj paātrināt aprēķinus dziļajos neironu tīklos, īpaši konvolūcijas un pilnībā savienotajos slāņos.

Piemērs: apmācot dziļo mācīšanās modeli, izmantojot framework'us, kas atbalsta Tensor Cores (piemēram, TensorFlow, PyTorch), matricas aprēķini tiek veikti ātrāk, kas saīsina apmācības laiku.