Kan cross-entropy worden gebruikt voor twee klassen en waarom wordt dit niet aanbevolen?

Kruis-entropy is een verliesfunctie die veel wordt gebruikt voor classificatietaken, inclusief binaire (tweedelige) classificatie. Theoretisch is kruis-entropy geschikt voor twee klassen, omdat het het verschil meet tussen de werkelijke verdeling en de voorspelde.

Echter, bij binaire classificatie wordt vaak een gespecialiseerde vorm van kruis-entropy gebruikt: de binaire kruis-entropy, die geoptimaliseerd is voor twee klassen en rekening houdt met de kenmerken van kansen en labels.

Waarom het niet wordt aanbevolen om de gewone (multiclass) kruis-entropy voor twee klassen te gebruiken:

• Het vereist dat labels worden weergegeven als one-hot vectoren, wat overbodig is voor twee klassen.
• Het kan leiden tot overmatige berekeningen en het model compliceren.
• Binaire kruis-entropy is eenvoudiger en efficiënter, omdat het met één getal werkt — de waarschijnlijkheid dat tot de positieve klasse behoort.

Voorbeeld van binaire kruis-entropy in PyTorch:

import torch
import torch.nn as nn

criterion = nn.BCELoss()  # binaire kruis-entropy
outputs = torch.sigmoid(logits)  # modeluitgangen
loss = criterion(outputs, targets)

Daarom wordt aanbevolen om voor twee klassen binaire kruis-entropy te gebruiken in plaats van de algemene kruis-entropy, om de efficiëntie en de correctheid van de training te verbeteren.