Aká je úloha aktivačnej funkcie v neurónovej sieti?

Funkcia aktivácie v neurónovej sieti je zodpovedná za zavedenie nelinearity do modelu. Bez nej by neurónová sieť bola len lineárna kombinácia vstupov, čo by obmedzilo jej schopnosť modelovať zložité závislosti.

Hlavné úlohy aktivačnej funkcie:

• Nelinearita: umožňuje sieti učiť sa a aproximovať zložité funkcie.
• Riešenie úloh klasifikácie alebo regresie: napríklad sigmoid obmedzuje výstup v rozsahu [0,1], čo je vhodné pre pravdepodobnosti.
• Kontrola gradientov: niektoré funkcie pomáhajú vyhnúť sa problémom s miznúcimi alebo explodujúcimi gradientmi.

Príklady populárnych aktivačných funkcií:

• ReLU (Rectified Linear Unit): f(x) = max(0, x)
• Sigmoid: f(x) = 1 / (1 + exp(-x))
• tanh: f(x) = (exp(x) - exp(-x)) / (exp(x) + exp(-x))

Bez aktivačnej funkcie sa neurónová sieť nemôže efektívne učiť a riešiť zložité úlohy.