Logloss жана MSE үчүн жоготуунун функциясынын туруктуулугун кантип аныктоо керек?

Машинное үйрөнүүдө жоготуулардын функциялары үчүн модельди оптималдаштыруу үчүн туундусун (градентти) эсептөө керек болот.

1. MSE (Орточо квадратик каталар) — орточо квадратик каталар:

Жоготуулардын функциясы:

[ L = \frac{1}{n} \sum_{i=1}^n (y_i - \hat{y}_i)^2 ]

( \hat{y}_i ) алдын ала болжогонго байланыштуу туундусу:

[ \frac{\partial L}{\partial \hat{y}_i} = -\frac{2}{n} (y_i - \hat{y}_i) ]

2. LogLoss (логарифмикалык жоготуулардын функциясы) — классификациялык тапшырмаларда колдонулат (мисалы, логистикалык регрессия):

Ички классификация үчүн:

[ L = -\frac{1}{n} \sum_{i=1}^n \left[ y_i \log(\hat{y}_i) + (1 - y_i) \log(1 - \hat{y}_i) \right] ]

( y_i \in {0,1} ), ( \hat{y}_i ) — 1-класс үчүн алдын ала болжогон мүмкүнчүлүк.

( \hat{y}_i ) боюнча туундусу:

[ \frac{\partial L}{\partial \hat{y}_i} = -\frac{1}{n} \left( \frac{y_i}{\hat{y}_i} - \frac{1 - y_i}{1 - \hat{y}_i} \right) ]

Логистикалык регрессиянын контекстинде, эгер ( \hat{y}_i = \sigma(z_i) ) (сигмоид), анда моделдин кириши боюнча туундусу:

[ \frac{\partial L}{\partial z_i} = \hat{y}_i - y_i ]

Бул эсептөөлөрдү тренинг учурунда жеңилдетет.

Ошондуктан, моделди оптималдаштыруу үчүн, бул туундуларыны колдонуп, параметрлерди градиентдик ыкмалар менен жаңыртуу керек.