İki sınıf için çapraz entropi kullanılabilir mi ve neden önerilmez?

Çapraz entropi, sınıflandırma görevleri için yaygın olarak kullanılan bir kayıp fonksiyonudur ve ikili (iki sınıflı) sınıflandırma dahil olmak üzere kullanılır. Teorik olarak, çapraz entropi iki sınıf için uygundur çünkü gerçek dağılım ile tahmin edilen arasındaki farkı ölçer.

Ancak, ikili sınıflandırmada, genellikle çapraz entropinin özel bir formu kullanılır: ikili çapraz entropi (binary cross-entropy), iki sınıf için optimize edilmiştir ve olasılıkların ve etiketlerin özelliklerini dikkate alır.

İki sınıf için genel (çok sınıflı) çapraz entropi kullanmanın önerilmemesinin nedenleri:

• Etiketlerin one-hot vektörleri olarak temsil edilmesini gerektirir, bu iki sınıf için gereksizdir.
• Aşırı hesaplamalara ve modelin karmaşıklaşmasına yol açabilir.
• İkili çapraz entropi daha basit ve etkilidir, çünkü tek bir sayı ile çalışır — pozitif sınıfa ait olma olasılığı.

PyTorch'ta ikili çapraz entropi örneği:

import torch
import torch.nn as nn

criterion = nn.BCELoss()  # ikili çapraz entropi
outputs = torch.sigmoid(logits)  # model çıkışları
loss = criterion(outputs, targets)

Bu nedenle, iki sınıf için, eğitim verimliliğini ve doğruluğunu artırmak amacıyla, genel çapraz entropi yerine ikili çapraz entropi kullanılması önerilir.