Mi az a post-training kvantálás mobil modellekhez?

A képzés utáni kvantálás egy neurális hálózatok optimalizálási módszer, amelyet a modell tréningje befejezése után alkalmaznak. Csökkenti a modell méretét és gyorsítja annak működését mobil és edge eszközökön azzal, hogy csökkenti a súlyok és aktivációk pontosságát (például 32 bites float-ról 8 bites egész számra).

Fő előnyei:

• A modell tárolásához szükséges memória csökkentése.
• Az inferencia idő és az energiafogyasztás csökkentése.

A folyamat általában magában foglalja:

1. A modell súlyainak kvantálását.
2. (Opcionális) Az aktivációk kvantálását kalibrációs adathalmaz segítségével.

Ez lehetővé teszi modellek futtatását korlátozott erőforrásokkal rendelkező eszközökön anélkül, hogy újra kellene tanítani vagy minimális extra beállítással.