Čo je to kernel fusion a kde pomáha?

Fúzia jadier je optimalizácia v programovaní GPU, pri ktorej sa niekoľko po sebe idúcich jadier (kernels) spája do jedného. To umožňuje znížiť počet spustení jadier, skrátiť náklady na prepínanie kontextov a znížiť počet prístupov k pamäti.

Kde pomáha fúzia jadier:

• Zrýchľuje vykonávanie reťazcov operácií, napríklad v strojovom učení pri sekvenčných maticových operáciách.
• Znižuje oneskorenia spojené so synchronizáciou medzi jadrami.
• Zvyšuje efektívnosť využívania pamäti a šírky pásma.

Príklad: namiesto spustenia troch samostatných jadier pre sčítanie, násobenie a aktiváciu, ich spojíme do jedného jadra, ktoré vykonáva všetky tri operácie po sebe, minimalizujúc prístupy k globálnej pamäti.