Може ли да се използва крос-ентропия за два класа и защо това не се препоръчва?

Крос-ентропията е широко използвана функция за загуба за задачи за класификация, включително двоична (дву-класова) класификация. Теоретично, крос-ентропията е подходяща за две класи, тъй като измерва разликата между истинското разпределение и предсказаното.

Въпреки това, при двоична класификация често се използва специализирана форма на крос-ентропия: бинарна крос-ентропия, която е оптимизирана за две класи и взема предвид особеностите на вероятностите и етикетите.

Защо не се препоръчва използването на обикновена (многокласова) крос-ентропия за две класи:

• Тя изисква етикетите да бъдат представени като one-hot вектори, което е излишно за две класи.
• Може да доведе до излишни изчисления и усложняване на модела.
• Бинарната крос-ентропия е по-проста и по-ефективна, тъй като работи с едно число — вероятността за принадлежност към положителната класа.

Пример за бинарна крос-ентропия в PyTorch:

import torch
import torch.nn as nn

criterion = nn.BCELoss()  # бинарна крос-ентропия
outputs = torch.sigmoid(logits)  # изходи на модела
loss = criterion(outputs, targets)

Затова за две класи се препоръчва да се използва бинарна крос-ентропия, а не общата крос-ентропия, за да се подобри ефективността и коректността на обучението.