Ինչու մոդուլի ֆունկցիան չի համապատասխանում գրադիենտային իջեցման համար?

Функция модуля (абсолютного значения) не подходит для градиентного спуска из-за отсутствия дифференцируемости в точке 0. Градиентный спуск требует вычисления производной функции потерь для обновления параметров. В точке x=0 производная функции |x| не определена, что приводит к неопределённости градиента и затрудняет корректное обновление весов.

Кроме того, в окрестности нуля производная функции модуля меняется скачкообразно (с -1 на +1), что может вызвать нестабильность при обучении. Поэтому для оптимизации обычно используют гладкие и дифференцируемые функции потерь, например, квадратичную ошибку (MSE) или сглаженные варианты функции модуля (например, Huber loss).