V čom sa líšia operácie viazané na pamäť od operácií viazaných na výpočet?

Operácie viazané na pamäť sú obmedzené rýchlosťou prístupu k pamäti. To znamená, že výkon týchto operácií závisí predovšetkým od toho, ako rýchlo môžu byť dáta čítané alebo zapisované do pamäti. V GPU a CUDA programovaní je to často spojené s priepustnosťou pamäte a latenciou.

Operácie viazané na výpočty sú obmedzené výpočtovou silou procesora alebo jadra. Tu je úzkym miestom rýchlosť vykonávania aritmetických alebo logických operácií, nie prístup k dátam.

Príklad:

• Ak CUDA jadro vykonáva veľa jednoduchých operácií nad dátami, ktoré je potrebné neustále načítavať z globálnej pamäti, bude obmedzené pamäťou.
• Ak jadro vykonáva zložité výpočty nad dátami, ktoré sú už rýchlo dostupné (napríklad v zdieľanej pamäti alebo v registroch), bude obmedzené výpočtom.

Optimalizácia závisí od typu operácie: pre operácie viazané na pamäť — zlepšenie prístupu k pamäti (cache, koalescencia), pre operácie viazané na výpočty — optimalizácia algoritmov a použitie špecializovaných inštrukcií.