Jak działa spadek gradientu do wyszukiwania parametrów modelu?

Metoda spadku gradientu to iteracyjny algorytm optymalizacji używany do znajdowania parametrów modelu minimalizujących funkcję straty. Pomysł polega na krokowym dostosowywaniu parametrów w kierunku przeciwnym do gradientu funkcji straty, ponieważ gradient wskazuje kierunek największego wzrostu.

Proces wygląda następująco:

1. Inicjujemy parametry modelu losowymi wartościami.

2. Obliczamy gradient funkcji straty względem parametrów — wektor pochodnych cząstkowych.

3. Aktualizujemy parametry, poruszając się w kierunku zmniejszenia funkcji straty:

   ( \theta := \theta - \alpha \nabla L(\theta) )

   gdzie ( \alpha ) to tempo nauki.

4. Powtarzamy kroki 2-3 aż do zbieżności lub osiągnięcia maksymalnej liczby iteracji.

Przykład w Pythonie z użyciem numpy:

import numpy as np

def gradient_descent(x, y, theta, learning_rate, iterations):
    m = len(y)
    for _ in range(iterations):
        predictions = x.dot(theta)
        errors = predictions - y
        gradient = (1/m) * x.T.dot(errors)
        theta = theta - learning_rate * gradient
    return theta

# x — macierz cech, y — zmienna docelowa, theta — parametry modelu

W ten sposób, metoda spadku gradientu pozwala znaleźć optymalne parametry, minimalizując błąd modelu.