Se poate folosi entropia încrucișată pentru două clase și de ce nu este recomandat?

Entropia încrucișată este o funcție de pierdere utilizată pe scară largă pentru sarcinile de clasificare, inclusiv clasificarea binară (cu două clase). Teoretic, entropia încrucișată este potrivită pentru două clase, deoarece măsoară diferența dintre distribuția adevărată și cea prezisă.

Cu toate acestea, în clasificarea binară, se folosește adesea o formă specializată de entropie încrucișată: entropia încrucișată binară, care este optimizată pentru două clase și ține cont de caracteristicile probabilităților și etichetelor.

De ce nu se recomandă utilizarea entropiei încrucișate multiclase obișnuite pentru două clase:

• Necesită ca etichetele să fie reprezentate sub formă de vectori one-hot, ceea ce este redundant pentru două clase.
• Poate duce la calcule excesive și complicarea modelului.
• Entropia încrucișată binară este mai simplă și mai eficientă, deoarece funcționează cu un singur număr — probabilitatea de aparținere clasei pozitive.

Exemplu de entropie încrucișată binară în PyTorch:

import torch
import torch.nn as nn

criterion = nn.BCELoss()  # entropie încrucișată binară
outputs = torch.sigmoid(logits)  # ieșirile modelului
loss = criterion(outputs, targets)

Prin urmare, pentru două clase, se recomandă utilizarea entropiei încrucișate binare în loc de cea generală, pentru a crește eficiența și corectitudinea antrenamentului.