Come funziona la discesa del gradiente per trovare i parametri del modello?

La discesa del gradiente è un algoritmo iterativo di ottimizzazione utilizzato per trovare i parametri del modello che minimizzano la funzione di perdita. L'idea è di aggiustare i parametri passo dopo passo nella direzione opposta al gradiente della funzione di perdita, poiché il gradiente indica la direzione di massimo aumento.

Il processo è il seguente:

1. Inizializzare i parametri del modello con valori casuali.

2. Calcolare il gradiente della funzione di perdita rispetto ai parametri — vettore delle derivate parziali.

3. Aggiornare i parametri muovendosi nella direzione di diminuzione della funzione di perdita:

   ( \theta := \theta - \alpha \nabla L(\theta) )

   dove ( \alpha ) è il tasso di apprendimento.

4. Ripetere i passaggi 2-3 fino alla convergenza o al raggiungimento del numero massimo di iterazioni.

Esempio in Python usando numpy:

import numpy as np

def gradient_descent(x, y, theta, learning_rate, iterations):
    m = len(y)
    for _ in range(iterations):
        predictions = x.dot(theta)
        errors = predictions - y
        gradient = (1/m) * x.T.dot(errors)
        theta = theta - learning_rate * gradient
    return theta

# x — matrice delle caratteristiche, y — variabile target, theta — parametri del modello

In questo modo, la discesa del gradiente permette di trovare i parametri ottimali minimizzando l'errore del modello.