¿Se puede usar la entropía cruzada para dos clases y por qué no se recomienda?

La entropía cruzada es una función de pérdida ampliamente utilizada para tareas de clasificación, incluyendo la clasificación binaria (de dos clases). Teóricamente, la entropía cruzada es adecuada para dos clases, ya que mide la diferencia entre la distribución verdadera y la predicha.

Sin embargo, en la clasificación binaria, a menudo se utiliza una forma especializada de entropía cruzada: la entropía cruzada binaria, que está optimizada para dos clases y tiene en cuenta las características de las probabilidades y las etiquetas.

Razones por las que no se recomienda usar la entropía cruzada multiclase normal para dos clases:

• Requiere que las etiquetas se representen como vectores one-hot, lo cual es redundante para dos clases.
• Puede llevar a cálculos excesivos y a una modelación más compleja.
• La entropía cruzada binaria es más simple y eficiente, ya que trabaja con un solo número: la probabilidad de pertenencia a la clase positiva.

Ejemplo de entropía cruzada binaria en PyTorch:

import torch
import torch.nn as nn

criterion = nn.BCELoss()  # entropía cruzada binaria
outputs = torch.sigmoid(logits)  # salidas del modelo
loss = criterion(outputs, targets)

Por lo tanto, para dos clases, se recomienda usar la entropía cruzada binaria en lugar de la entropía cruzada general, para mejorar la eficiencia y la corrección del entrenamiento.