Ce funcționalitate este optimizată în timpul antrenamentului regresiei logistice?
sobes.tech AI
Răspuns de la AI
În timpul antrenamentului regresiei logistice, se optimizează o funcție de pierdere, de obicei funcția de pierdere logaritmică (log loss sau entropie încrucișată). Această funcție măsoară diferența dintre probabilitățile prezise de apartenență la clase și etichetele reale. Scopul antrenamentului este de a minimiza suma acestor pierderi pentru toate exemplele de antrenament, ceea ce duce la găsirea parametrilor optimi ai modelului (greutăți).
Exemplu de funcție de pierdere pentru regresia logistică binară:
[ L(\theta) = - \frac{1}{m} \sum_{i=1}^m \left[y^{(i)} \log(h_\theta(x^{(i)})) + (1 - y^{(i)}) \log(1 - h_\theta(x^{(i)}))\right] ]
unde:
- (h_\theta(x)) este probabilitatea prezisă,
- (y^{(i)}) este eticheta reală,
- (m) este numărul de exemple.
Optimizarea se face de obicei folosind coborârea gradientului sau variantele sale.