Czym jest kwantyzacja po treningu dla modeli mobilnych?

Kwantyzacja po treningu to metoda optymalizacji sieci neuronowych, stosowana po zakończeniu treningu modelu. Zmniejsza rozmiar modelu i przyspiesza jego działanie na urządzeniach mobilnych i edge, poprzez obniżenie precyzji wag i aktywacji (np. z 32-bitowego float na 8-bitowe liczby całkowite).

Główne zalety:

• Zmniejszenie ilości pamięci potrzebnej do przechowywania modelu.
• Skrócenie czasu inferencji i zużycia energii.

Proces zazwyczaj obejmuje:

1. Kwantyzację wag modelu.
2. (Opcjonalnie) Kwantyzację aktywacji za pomocą zestawu danych kalibracyjnych.

Pozwala to na uruchamianie modeli na urządzeniach o ograniczonych zasobach bez konieczności ponownego treningu lub z minimalnym dodatkiem do konfiguracji.