Jaká je role aktivační funkce v neuronové síti?

Aktivační funkce v neuronové síti je odpovědná za zavedení nelinearity do modelu. Bez ní by neuronová síť byla pouze lineární kombinací vstupů, což by omezilo její schopnost modelovat složité závislosti.

Hlavní role aktivační funkce:

• Nelinearita: umožňuje síti učit se a aproximovat složité funkce.
• Řešení úloh klasifikace nebo regrese: například sigmoid omezuje výstup v rozmezí [0,1], což je vhodné pro pravděpodobnosti.
• Kontrola gradientů: některé funkce pomáhají vyhnout se problémům s mizícími nebo explodujícími gradienty.

Příklady populárních aktivačních funkcí:

• ReLU (Rectified Linear Unit): f(x) = max(0, x)
• Sigmoid: f(x) = 1 / (1 + exp(-x))
• tanh: f(x) = (exp(x) - exp(-x)) / (exp(x) + exp(-x))

Bez aktivační funkce se neuronová síť nemůže efektivně učit a řešit složité úlohy.