Waarom is er geen gesloten vorm oplossing voor logistische regressie?

Voor logistieke regressie bestaat er geen gesloten-form oplossing, omdat de likelihood-functie die we maximaliseren niet-lineair is en geen analytische uitdrukking heeft voor de modelparameters. In tegenstelling tot lineaire regressie, waar parameters kunnen worden verkregen door het oplossen van een systeem lineaire vergelijkingen (bijvoorbeeld de kleinste kwadratenmethode), gebruikt logistieke regressie een sigmoïde functie, waardoor de vergelijkingen voor het maximaliseren van de likelihood niet-lineair worden.

Daarom worden de modelparameters gevonden met behulp van numerieke optimalisatiemethoden, zoals gradient descent, de Newton-methode of quasi-Newton methoden. Deze methoden benaderen iteratief de optimale oplossing, omdat er geen directe analytische uitdrukking voor de gewichten bestaat.