Что такое gradient scaling и зачем оно нужно с FP16?

Gradient scaling — это техника, используемая при обучении нейронных сетей с использованием половинной точности (FP16). FP16 позволяет ускорить вычисления и снизить потребление памяти, но из-за меньшей точности и диапазона представления чисел градиенты могут стать слишком маленькими (underflow), что приводит к их обнулению и ухудшению обучения.

Чтобы избежать этого, перед обратным распространением ошибки градиенты масштабируются на большой коэффициент (например, 2^16), что увеличивает их величину и предотвращает потерю значимых значений из-за underflow. После обновления параметров масштабирование отменяется.

Примерно процесс выглядит так:

1. Умножаем градиенты на масштабный коэффициент.
2. Выполняем обратное распространение и обновление параметров.
3. Делим обновления на тот же коэффициент, чтобы вернуть правильный масштаб.

Это позволяет безопасно использовать FP16 без потери качества обучения.