Что хотят услышать интервьюеры:

Да, если под «модулем» имеется в виду проблема с величиной шага или с нормой градиента, её обычно можно исправить относительно дёшево — за счёт нормализации признаков, подбора learning rate и gradient clipping. Если же речь о более глубокой проблеме, например о плохой обусловленности функции потерь, то простых и дешёвых решений может быть недостаточно. Важно показать, что причина нестабильности сначала диагностируется, а уже потом выбирается способ исправления.

Определение:

В градиентном спуске проблемы чаще всего возникают не из-за самого алгоритма, а из-за масштаба данных, слишком большого шага обновления или взрыва/затухания градиента. «Дешёвое» исправление — это простая и недорогая по вычислениям мера, которая улучшает сходимость без серьёзной переработки модели: нормализация входов, уменьшение learning rate, momentum, Adam, clipping градиента, изменение инициализации. Если же под модулем имелся в виду модуль численного значения, то для него обычно отдельно не «чинят» градиентный спуск, а исправляют постановку задачи и масштабирование.

Пример использования:

Допустим, линейная модель обучается на признаках с разными масштабами: один признак в диапазоне 0–1, другой — в тысячах. Без нормализации градиентный спуск может долго «зигзагом» сходиться или расходиться. Самое дешёвое исправление — стандартизировать признаки и уменьшить шаг обучения.

import numpy as np

X = np.array([
    [1.0, 1000.0],
    [2.0, 2000.0],
    [3.0, 3000.0]
])
y = np.array([1.0, 2.0, 3.0])

# Нормализация признаков
mean = X.mean(axis=0)
std = X.std(axis=0)
Xn = (X - mean) / std

w = np.zeros(Xn.shape[1])
b = 0.0
lr = 0.1

for _ in range(1000):
    pred = Xn @ w + b
    error = pred - y
    dw = (Xn.T @ error) / len(Xn)
    db = error.mean()
    w -= lr * dw
    b -= lr * db

Пояснение кода:

В примере сначала признаки приводятся к одному масштабу, чтобы один столбец не доминировал над другим. Затем выполняется обычный градиентный спуск с фиксированным learning rate. Если бы обучение было нестабильным, следующим дешёвым шагом было бы уменьшить lr или добавить ограничение на норму градиента.

Ключевые моменты:

Самая частая и дешёвая мера — нормализация или стандартизация признаков.
Если обучение расходится, в первую очередь проверяют learning rate.
Для нестабильных градиентов помогает gradient clipping.
Хорошая инициализация и адаптивные оптимизаторы тоже могут сильно упростить сходимость.
Если проблема в плохой обусловленности или в самой постановке задачи, дешёвого исправления может не хватить.

Можно ли дешево исправить проблему использования модуля в градиентном спуске?