Šta su Tensor Cores i koje operacije ubrzavaju?

Tensor Cores su specijalizovane hardverske jedinice u savremenim GPU-ima (npr. NVIDIA Volta, Turing, Ampere), namenjene za ubrzavanje operacija sa tenzorima, posebno u zadacima mašinskog učenja.

Optimizovane su za izvođenje matriks operacija sa niskom preciznošću (FP16, INT8), što značajno povećava performanse tokom obuke i inferencije neuronskih mreža.

Glavne operacije koje ubrzavaju Tensor Cores su:

• Množenje matrica (Matrix Multiply)
• Akumulacija matrica (Matrix Accumulate)

Ovo omogućava ubrzanje računanja u dubokim neuronskim mrežama, posebno u slojevima konvolucije i potpuno povezanih slojeva.

Primer: tokom obuke modela dubokog učenja koristeći okvire koji podržavaju Tensor Cores (npr. TensorFlow, PyTorch), matriks računanja se obavljaju brže, skraćujući vreme obuke.