Warum gibt es keine geschlossene Formlösung für die logistische Regression?

Für die logistische Regression gibt es keine geschlossene Lösungsform, weil die Likelihood-Funktion, die wir maximieren, nicht linear ist und keine analytische Darstellung für die Modellparameter hat. Im Gegensatz zur linearen Regression, bei der die Parameter durch Lösung eines linearen Gleichungssystems (z.B. Methode der kleinsten Quadrate) erhalten werden können, verwendet die logistische Regression eine sigmoide Funktion, wodurch die Gleichungen zur Maximierung der Likelihood nicht linear werden.

Daher werden die Modellparameter mit numerischen Optimierungsmethoden wie Gradientenabstieg, Newton-Verfahren oder Quasi-Newton-Methoden gefunden. Diese Methoden nähern sich iterativ der optimalen Lösung, da keine direkte analytische Darstellung für die Gewichte existiert.