Γιατί δεν υπάρχει κλειστή μορφή λύσης για την λογιστική παλινδρόμηση;

Για την λογιστική παλινδρόμηση δεν υπάρχει κλειστή μορφή λύσης, επειδή η συνάρτηση πιθανοφάνειας που μεγιστοποιούμε είναι μη γραμμική και δεν έχει αναλυτική έκφραση για τις παραμέτρους του μοντέλου. Σε αντίθεση με την γραμμική παλινδρόμηση, όπου μπορούμε να πάρουμε τις παραμέτρους λύνοντας ένα σύστημα γραμμικών εξισώσεων (π.χ. μέθοδος ελαχίστων τετραγώνων), στη λογιστική παλινδρόμηση χρησιμοποιείται μια σημοειδής συνάρτηση, η οποία καθιστά τις εξισώσεις για τη μεγιστοποίηση της πιθανοφάνειας μη γραμμικές.

Επομένως, οι παράμετροι του μοντέλου βρίσκονται με τη βοήθεια αριθμητικών μεθόδων βελτιστοποίησης, όπως η κατιούσα κλίση, η μέθοδος του Νεύτωνα ή μέθοδοι quasi-Newton. Αυτές οι μέθοδοι προσεγγίζουν επαναληπτικά τη βέλτιστη λύση, καθώς δεν υπάρχει άμεση αναλυτική έκφραση για τα βάρη.