Čo je to post-training kvantizácia pre mobilné modely?

Post-tréningová kvantizácia je metóda optimalizácie neurónových sietí, ktorá sa aplikuje po dokončení tréningu modelu. Znižuje veľkosť modelu a zrýchľuje jeho chod na mobilných a edge zariadeniach tým, že znižuje presnosť váh a aktivácií (napríklad z 32-bitového floatu na 8-bitové celé čísla).

Hlavné výhody:

• Zníženie objemu pamäte potrebnej na uloženie modelu.
• Zníženie času inferencie a spotreby energie.

Proces zvyčajne zahŕňa:

1. Kvantizáciu váh modelu.
2. (Voliteľné) Kvantizáciu aktivácií pomocou kalibračného dátového súboru.

Toto umožňuje spúšťanie modelov na zariadeniach s obmedzenými zdrojmi bez nutnosti opätovného tréningu alebo s minimálnymi dodatočnými úpravami.