Ποια είναι η λειτουργία απώλειας για την λογιστική παλινδρόμηση;

Η λειτουργία απώλειας για την λογιστική παλινδρόμηση είναι η δυαδική διασταυρούμενη εντροπία (log loss). Μετρά τη διαφορά μεταξύ των προβλεπόμενων πιθανοτήτων και των πραγματικών ετικετών κλάσεων.

Για ένα αντικείμενο με ετικέτα y (0 ή 1) και προβλεπόμενη πιθανότητα p (πιθανότητα της κλάσης 1), η λειτουργία απώλειας γράφεται ως:

[ L = - \left( y \cdot \log(p) + (1 - y) \cdot \log(1 - p) \right) ]

Αυτή η λειτουργία τιμωρεί το μοντέλο για λανθασμένες προβλέψεις, ειδικά αν το μοντέλο είναι σίγουρο για μια λανθασμένη απάντηση.

Παράδειγμα σε Python με numpy:

import numpy as np

def log_loss(y_true, y_pred):
    epsilon = 1e-15  # για σταθερότητα
    y_pred = np.clip(y_pred, epsilon, 1 - epsilon)
    return -np.mean(y_true * np.log(y_pred) + (1 - y_true) * np.log(1 - y_pred))