რა ფუნქციონალი ოპტიმიზირებულია ლოგისტიკური რეგრესიის სწავლების დროს?

ლოგისტიკური რეგრესიის სწავლების დროს ჩვეულებრივ ოპტიმიზირებულია დანაკარგის ფუნქცია, უმეტეს შემთხვევაში — ლოგარითმული დანაკარგის (log loss ან კროს-ენტროპია). ეს ფუნქცია ზომავს განსხვავებას წინასწარ გათვლილ კლასში ჩართვის შესაძლებლობებსა და რეალურ ნიშნებს შორის. სწავლების მიზანია ამ დანაკარგების ჯამის მინიმიზაცია ყველა სასწავლო მაგალითზე, რაც οδηγებს მოდელის (წონების) ოპტიმალურ პარამეტრებზე.

ბინარული ლოგისტიკური რეგრესიის მაგალითი დანაკარგის ფუნქციის:

[ L(\theta) = - \frac{1}{m} \sum_{i=1}^m \left[y^{(i)} \ log(h_\theta(x^{(i)})) + (1 - y^{(i)}) \ log(1 - h_\theta(x^{(i)}))\right] ]

სად:

• (h_\theta(x)) არის წინასწარ გათვლილი შესაძლებლობა,
• (y^{(i)}) არის რეალური ნიშანი,
• (m) მაგალითების რაოდენობა.

ოპტიმიზაცია ჩვეულებრივ ხორციელდება გრადიენტული დაღმასვლის ან მისი ვარიანტებით.