Πώς λειτουργεί η κλίση του βαθμιδωτού για την εύρεση των παραμέτρων του μοντέλου;

Η κατιούσα του βαθμίδα είναι ένας επαναληπτικός αλγόριθμος βελτιστοποίησης που χρησιμοποιείται για την εύρεση των παραμέτρων του μοντέλου που ελαχιστοποιούν τη λειτουργία απώλειας. Η ιδέα είναι να ρυθμίζουμε τα βήματα των παραμέτρων προς την αντίθετη κατεύθυνση του βαθμίδα της λειτουργίας απώλειας, καθώς η βαθμίδα δείχνει την κατεύθυνση της μεγαλύτερης αύξησης.

Η διαδικασία έχει ως εξής:

1. Αρχικοποιήστε τις παραμέτρους του μοντέλου με τυχαίες τιμές.

2. Υπολογίστε τη βαθμίδα της λειτουργίας απώλειας σε σχέση με τις παραμέτρους — διανύσμα μερικών παραγώγων.

3. Ενημερώστε τις παραμέτρους, κινούμενοι προς τη μείωση της λειτουργίας απώλειας:

   ( \theta := \theta - \alpha \nabla L(\theta) )

   όπου ( \alpha ) είναι ο ρυθμός εκμάθησης.

4. Επαναλάβετε τα βήματα 2-3 μέχρι να επιτευχθεί σύγκλιση ή να φτάσετε τον μέγιστο αριθμό επαναλήψεων.

Παράδειγμα σε Python με numpy:

import numpy as np

def gradient_descent(x, y, theta, learning_rate, iterations):
    m = len(y)
    for _ in range(iterations):
        predictions = x.dot(theta)
        errors = predictions - y
        gradient = (1/m) * x.T.dot(errors)
        theta = theta - learning_rate * gradient
    return theta

# x — μήτρα χαρακτηριστικών, y — μεταβλητή στόχος, theta — παράμετροι μοντέλου

Έτσι, η κατιούσα του βαθμίδα επιτρέπει την εύρεση των βέλτιστων παραμέτρων, ελαχιστοποιώντας το σφάλμα του μοντέλου.