Perché non si utilizza la formula analitica nella risoluzione di un problema di regressione lineare?

La formula analitica per risolvere un problema di regressione lineare (ad esempio, il metodo dei minimi quadrati usando la pseudo-inversa) permette teoricamente di ottenere una soluzione precisa. Tuttavia, nella pratica, spesso non viene utilizzata per diversi motivi:

• Complessità computazionale: Quando ci sono molte caratteristiche (specialmente se sono più di qualche migliaio), il calcolo dell’inversa della matrice diventa molto costoso in termini di tempo e memoria.

• Instabilità numerica: La matrice inversa può essere mal condizionata o singolare, portando a errori e risultati instabili.

• Scalabilità: Per set di dati molto grandi (milioni di oggetti), il metodo analitico non è efficiente, mentre i metodi iterativi (discesa del gradiente, discesa del gradiente stocastico) permettono di apprendere a pezzi e convergere più rapidamente.

• Regolarizzazione e modelli estesi: Quando si aggiunge regolarizzazione (ad esempio, Ridge o Lasso) o si usano modelli estesi, la formula analitica diventa più complessa o impossibile da ottenere.

Pertanto, nelle applicazioni di machine learning reali, si preferiscono spesso metodi di ottimizzazione numerica più adatti a dati grandi e complessi.