Čo je zdieľaná pamäť a prečo ju používať?

Zdieľaná pamäť v kontexte GPU a CUDA je oblasť pamäte, ktorá je prístupná všetkým vláknam v rámci jedného bloku vlákien. Nachádza sa na samotnom GPU a je oveľa rýchlejšia ako globálna pamäť, pretože má nízku latenciu a vysokú priepustnosť.

Použitie zdieľanej pamäti umožňuje efektívnu výmenu dát medzi vláknami bloku bez potreby prístupu k pomalej globálnej pamäti. To je obzvlášť dôležité pre algoritmy strojového učenia a paralelné výpočty, kde je často potrebné zdieľať medzičasy výsledkov.

Príklad: pri implementácii konvolúcií alebo matícových operácií je možné najskôr načítať dáta do zdieľanej pamäti, vykonať výpočty a následne zapísať výsledok späť do globálnej pamäti, čo výrazne zrýchľuje vykonávanie.

Príklad kódu CUDA:

__shared__ float tile[32][32];

int tx = threadIdx.x;
int ty = threadIdx.y;

// Načítanie dát z globálnej pamäti do zdieľanej
tile[ty][tx] = input[y * width + x];
__syncthreads();

// Použitie dát zo zdieľanej pamäti pre výpočty
float val = tile[ty][tx] * 2.0f;

// Zápis výsledku späť do globálnej pamäti
output[y * width + x] = val;

Týmto spôsobom, zdieľaná pamäť pomáha optimalizovať výkon znížením počtu pomalých prístupov k globálnej pamäti.