Kokie inferencijos pagreitinimai pasiekiami?

Mašininio mokymosi inferencijos pagreitis priklauso nuo naudojamų optimizavimo metodų ir aparatūros. Pagrindiniai požiūriai apima:

• Modelių kvantizavimą — svorių tikslumo sumažinimą (pavyzdžiui, nuo float32 iki int8), tai sumažina skaičiavimų apimtį ir pagreitina inferenciją be reikšmingo kokybės praradimo.
• Naudojimą specializuotų bibliotekų ir karkasų (TensorRT, ONNX Runtime, OpenVINO), kurie optimizuoja skaičiavimo grafiką ir naudoja aparatūros galimybes.
• Aparatinio pagreitinimo naudojimą: GPU, TPU, FPGA ar specializuotus neuroninius procesorius.
• Užklausų paralelizavimą ir partijų apdorojimą — kelių užklausų vienu metu apdorojimas, siekiant padidinti pralaidumą.
• Modelio architektūros optimizavimą — modelio supaprastinimą, parametrų skaičiaus mažinimą.

Priklausomai nuo užduoties ir požiūrio, pagreitis gali siekti nuo kelių kartų iki dešimčių kartų, palyginti su baziniu CPU inferencijos lygiu.