Czy można używać entropii krzyżowej dla dwóch klas i dlaczego to nie jest zalecane?

Krzyżowa entropia jest funkcją straty szeroko stosowaną w zadaniach klasyfikacji, w tym w binarnej (dwuklasowej) klasyfikacji. Teoretycznie, krzyżowa entropia jest odpowiednia dla dwóch klas, ponieważ mierzy różnicę między prawdziwym rozkładem a przewidywanym.

Jednak w binarnej klasyfikacji często używa się specjalizowanej formy krzyżowej entropii — binarnej entropii krzyżowej (binary cross-entropy), która jest zoptymalizowana dla dwóch klas i uwzględnia cechy prawdopodobieństw i etykiet.

Dlaczego nie zaleca się używania zwykłej (wieloklasowej) krzyżowej entropii dla dwóch klas:

• Wymaga reprezentacji etykiet jako wektorów one-hot, co jest nadmiarowe dla dwóch klas.
• Może prowadzić do nadmiernych obliczeń i komplikacji modelu.
• Binarna entropia krzyżowa jest prostsza i bardziej wydajna, ponieważ działa na jednej liczbie — prawdopodobieństwie przynależności do klasy pozytywnej.

Przykład binarnej entropii krzyżowej w PyTorch:

import torch
import torch.nn as nn

criterion = nn.BCELoss()  # binarna entropia krzyżowa
outputs = torch.sigmoid(logits)  # wyjścia modelu
loss = criterion(outputs, targets)

Dlatego dla dwóch klas zaleca się używanie binarnej entropii krzyżowej zamiast ogólnej, aby zwiększyć efektywność i poprawność uczenia.