Կարո՞ղ է օգտագործել խաչաձեւ ինֆորմացիան երկու դասերի համար և ինչու դա չի խորհուրդ տրվում։

Կրոս-энтրոպիան լայնորեն օգտագործվող կորուստային ֆունկցիա է դասակարգման խնդիրների համար, ներառյալ բինար (երկու դասարանային) դասակարգումը: Թեորետիկապես, կրոս-энтրոպիան համապատասխանում է երկու դասարանների համար, քանի որ այն չափում է իրական բաշխման և կանխատեսված բաշխման տարբերությունը:

Այնուամենայնիվ, բինար դասակարգման ժամանակ հաճախ օգտագործվում է կրոս-энтրոպիայի հատուկ ձևը՝ բինար կրոս-энтրոպիան, որը օպտիմալացվել է երկու դասարանների համար և հաշվի է առնում հավանականությունների և նշանների առանձնահատկությունները:

Ինչու չի խորհուրդ տրվում օգտագործել սովորական (բազմասեռական) կրոս-энтրոպիան երկու դասարանների համար՝

• Դա պահանջում է նշանների ներկայացում որպես one-hot վեկտորներ, ինչը ավելորդ է երկու դասարանների համար:
• Դա կարող է հանգեցնել ավելորդ հաշվարկների և բարդացնել մոդելը:
• Բինար կրոս-энтրոպիան պարզ և արդյունավետ է, քանի որ աշխատում է մեկ թվի հետ՝ դրական դասարանի պատկանելիության հավանականությունը:

PyTorch-ում բինար կրոս-энтրոպիայի օրինակ՝

import torch
import torch.nn as nn

criterion = nn.BCELoss()  # բինար կրոս-энтրոպիա
outputs = torch.sigmoid(logits)  # մոդելի ելքեր
loss = criterion(outputs, targets)

Այսպիսով, երկու դասարանների համար խորհուրդ է տրվում օգտագործել բինար կրոս-энтրոպիա՝ ընդհանուր կրոս-энтրոպիայի փոխարեն՝ արդյունավետությունն ու ճշգրտությունը բարձրացնելու համար։