Model parametrelerini bulmak için gradyan inişi nasıl çalışır?

Gradyan inişi, kayıp fonksiyonunu minimize eden model parametrelerini bulmak için kullanılan yinelemeli bir optimizasyon algoritmasıdır. Fikir, kayıp fonksiyonunun gradyanına ters yönde adım adım parametreleri ayarlamaktır, çünkü gradyan en büyük artış yönünü gösterir.

İşlem şu şekildedir:

1. Model parametrelerini rastgele değerlerle başlatın.

2. Parametreler üzerindeki kayıp fonksiyonunun gradyanını hesaplayın — kısmi türev vektörü.

3. Parametreleri kayıp fonksiyonunu azaltacak yönde güncelleyin:

   ( \theta := \theta - \alpha \nabla L(\theta) )

   burada ( \alpha ) öğrenme oranıdır.

4. 2-3 adımlarını yakınsama veya maksimum iterasyon sayısına ulaşana kadar tekrarlayın.

Python ile numpy kullanarak örnek:

import numpy as np

def gradient_descent(x, y, theta, learning_rate, iterations):
    m = len(y)
    for _ in range(iterations):
        predictions = x.dot(theta)
        errors = predictions - y
        gradient = (1/m) * x.T.dot(errors)
        theta = theta - learning_rate * gradient
    return theta

# x — özellik matrisi, y — hedef değişken, theta — model parametreleri

Bu şekilde, gradyan inişi, model hatasını minimize ederek en uygun parametreleri bulmaya olanak tanır.