Koja je uloga funkcije aktivacije u neuronskoj mreži?

Funkcija aktivacije u neuronskoj mreži odgovorna je za uvodjenje nelinearnosti u model. Bez nje, neuronska mreža bila bi samo linearna kombinacija ulaza, što bi ograničilo njenu sposobnost da modelira složene zavisnosti.

Glavne uloge funkcije aktivacije:

• Nelinearnost: omogućava mreži da uči i aproksimira složene funkcije.
• Rešavanje zadataka klasifikacije ili regresije: na primer, sigmoida ograničava izlaz u opsegu [0,1], što je zgodno za verovatnoće.
• Kontrola gradijenata: neke funkcije pomažu da se izbegnu problemi sa nestajanjem ili eksplozijom gradijenata.

Primeri popularnih funkcija aktivacije:

• ReLU (Rectified Linear Unit): f(x) = max(0, x)
• Sigmoid: f(x) = 1 / (1 + exp(-x))
• tanh: f(x) = (exp(x) - exp(-x)) / (exp(x) + exp(-x))

Bez funkcije aktivacije, neuronska mreža ne može efikasno da uči i rešava složene zadatke.