Ποια είναι τα προβλήματα της λειτουργίας ενεργοποίησης Sigmoid; Πού εφαρμόζεται και πώς ερμηνεύεται;

Η λειτουργία ενεργοποίησης Sigmoid έχει την μορφή:

[ \sigma(x) = \frac{1}{1 + e^{-x}} ]

Μετατρέπει οποιαδήποτε είσοδο σε εύρος (0, 1), το οποίο είναι βολικό για ερμηνεία ως πιθανότητα.

Προβλήματα του Sigmoid:

• Μειούμενοι βαθμοί κλίσης: Για μεγάλες τιμές εισόδου, η παράγωγος της λειτουργίας είναι κοντά στο μηδέν, επιβραδύνοντας την εκπαίδευση βαθιών δικτύων.
• Μη κεντρισμένη: Η έξοδος είναι πάντα θετική, κάτι που μπορεί να επιβραδύνει τη σύγκλιση της καθοδικής κλίσης.
• Κάθοδος: Για μεγάλες θετικές ή αρνητικές τιμές, η λειτουργία "κορεστεί" και οι βαθμοί κλίσης γίνονται πολύ μικροί.

Εφαρμογή:

• Συχνά χρησιμοποιείται στο τελικό στρώμα για εργασίες δυαδικής ταξινόμησης, όπου η έξοδος ερμηνεύεται ως πιθανότητα ανήκειν σε μια κλάση.

Ερμηνεία:

Η τιμή της λειτουργίας μπορεί να ερμηνευθεί ως η πιθανότητα ένα αντικείμενο να ανήκει στην θετική κλάση. Για παράδειγμα, η έξοδος 0.9 σημαίνει 90% πιθανότητα.

Παράδειγμα χρήσης σε Python:

import numpy as np

def sigmoid(x):
    return 1 / (1 + np.exp(-x))

output = sigmoid(2.0)  # περίπου 0.88

Σε σύγχρονες βαθιές νευρωνικές δικτύες, συχνά προτιμούνται οι ReLU και οι παραλλαγές της λόγω των προβλημάτων του Sigmoid.