Wat is gedeeld geheugen en waarom zou je het gebruiken?

Shared memory in de context van GPU en CUDA is een geheugenruimte die toegankelijk is voor alle threads binnen een blok van threads. Het bevindt zich op de GPU zelf en is veel sneller dan het globale geheugen, omdat het lage latentie en hoge bandbreedte heeft.

Het gebruik van shared memory maakt het mogelijk om efficiënt gegevens uit te wisselen tussen de threads van het blok zonder dat er toegang nodig is tot het trage globale geheugen. Dit is vooral belangrijk voor machine learning algoritmen en parallelle berekeningen, waar het vaak nodig is om tussenresultaten te delen.

Voorbeeld: bij het implementeren van convoluties of matrixbewerkingen kunnen de gegevens eerst in shared memory worden geladen, de berekeningen worden uitgevoerd en vervolgens het resultaat in het globale geheugen worden opgeslagen, wat de uitvoering aanzienlijk versnelt.

Voorbeeld van CUDA-code:

__shared__ float tile[32][32];

int tx = threadIdx.x;
int ty = threadIdx.y;

// Gegevens laden van globaal geheugen naar shared memory
tile[ty][tx] = input[y * width + x];
__syncthreads();

// Gebruik maken van de gegevens uit shared memory voor berekeningen
float val = tile[ty][tx] * 2.0f;

// Resultaat terugschrijven naar globaal geheugen
output[y * width + x] = val;

Op deze manier helpt shared memory om de prestaties te optimaliseren door het aantal trage toegangsmomenten tot het globale geheugen te verminderen.