Kann man Kreuzentropie für zwei Klassen verwenden und warum wird dies nicht empfohlen?

Kreuzentropie ist eine Verlustfunktion, die häufig für Klassifizierungsaufgaben verwendet wird, einschließlich binärer (zweiklassiger) Klassifikation. Theoretisch ist die Kreuzentropie für zwei Klassen geeignet, da sie die Differenz zwischen der wahren Verteilung und der vorhergesagten misst.

In der binären Klassifikation wird jedoch oft eine spezialisierte Form der Kreuzentropie verwendet: die binäre Kreuzentropie, die für zwei Klassen optimiert ist und die Eigenschaften von Wahrscheinlichkeiten und Labels berücksichtigt.

Warum es nicht empfohlen wird, die normale (multiklassige) Kreuzentropie für zwei Klassen zu verwenden:

• Sie erfordert, dass Labels als One-Hot-Vektoren dargestellt werden, was für zwei Klassen redundant ist.
• Sie kann zu übermäßigen Berechnungen und einer komplexeren Modellierung führen.
• Die binäre Kreuzentropie ist einfacher und effizienter, da sie mit nur einer Zahl arbeitet – der Wahrscheinlichkeit, zur positiven Klasse zu gehören.

Beispiel für binäre Kreuzentropie in PyTorch:

import torch
import torch.nn as nn

criterion = nn.BCELoss()  # binäre Kreuzentropie
outputs = torch.sigmoid(logits)  # Modell-Ausgänge
loss = criterion(outputs, targets)

Daher wird für zwei Klassen empfohlen, die binäre Kreuzentropie zu verwenden, anstatt die allgemeine Kreuzentropie, um die Effizienz und die Korrektheit des Trainings zu verbessern.