Kas yra NPU/DSP ir kokie karkasai juos naudoja?

NPU (Neural Processing Unit) ir DSP (Digital Signal Processor) yra specializuoti aparatinės įrangos pagreitintuvai, skirti tam tikrų skaičiavimų tipų apdorojimui.

• NPU yra optimizuotas neuroninių tinklų ir mašininio mokymosi operacijoms, užtikrinantis aukštą našumą su mažu energijos suvartojimu. Jie naudojami mobiliuosiuose įrenginiuose ir edge įrenginiuose AI užduotims pagreitinti.

• DSP yra procesoriai, optimizuoti skaitmeninių signalų apdorojimui, tokių kaip garsas, vaizdo įrašai ir jutiklių duomenys. Jie gali būti naudojami duomenų išankstiniam apdorojimui prieš ML.

Framework'ai ir bibliotekos, kurios palaiko darbą su NPU/DSP:

• TensorFlow Lite — palaiko pagreitinimą NPU ir DSP mobiliuosiuose įrenginiuose per Delegates (pavyzdžiui, NNAPI Android).
• Qualcomm Hexagon DSP SDK — kuriant programas, naudojančias DSP Qualcomm lustuose.
• Arm Compute Library — optimizuotos funkcijos NPU ir DSP Arm procesoriuose.

Taip NPU ir DSP padeda efektyviai vykdyti ML užduotis įrenginiuose su ribotais ištekliais, sumažindami delsą ir energijos suvartojimą.