Ikki sinf uchun kross-entropy ishlatish mumkinmi va nima uchun tavsiya etilmaydi?

Kross-entropy — bu keng tarqalgan yo‘qotish funktsiyasi bo‘lib, u ikkilamchi (ikki sinfli) tasniflash vazifalarida keng qo‘llaniladi. Teoriyaviy jihatdan, kross-entropy ikki sinf uchun mos keladi, chunki u haqiqiy taqsimot va bashorat qilingan taqsimot o‘rtasidagi farqni o‘lchaydi.

Ammo, ikkilamchi tasniflashda, odatda, maxsus shakli — binary cross-entropy (ikkilik kross-entropy) ishlatiladi, u ikki sinf uchun optimallashtirilgan va ehtimolliklar va belgilarning xususiyatlarini hisobga oladi.

Nima uchun oddiy (ko‘p sinfli) kross-entropy ikki sinf uchun tavsiya etilmaydi:

• Bu belgilarning one-hot vektorlar shaklida taqdim etilishini talab qiladi, bu ikki sinf uchun ortiqcha.
• Bu hisoblashlarni ortiqcha qilish va modelni murakkablashtirishga olib kelishi mumkin.
• Binary cross-entropy oddiy va samarali, chunki u faqat bitta raqam bilan ishlaydi — ijobiy sinfga tegish ehtimolligi.

PyTorchda binary cross-entropy misoli:

import torch
import torch.nn as nn

criterion = nn.BCELoss()  # binary cross-entropy
outputs = torch.sigmoid(logits)  # model chiqishlari
loss = criterion(outputs, targets)

Shuning uchun, ikki sinf uchun, umumiy kross-entropy o‘rniga binary cross-entropy ishlatish tavsiya etiladi, bu o‘quv jarayonining samaradorligini va to‘g‘riligini oshirish uchun.