Šta je sampled softmax i kakva je njegova prednost u pogledu računanja?

Sampled softmax — је приближна метода за израчунавање softmax функције, која се користи у задацима са веома великим бројем класа (на пример, у системима за препоруке или језичким моделима са огромним речником). Уместо да израчунава потпуну расподелу вероватноћа за све класе, sampled softmax бира случајни подскуп негативних класа и израчунава softmax само за њих и за позитивну (циљну) класу.

Предности у погледу рачунарске сложености:

• Значајно смањује број операција множења и експоненцијалних операција, јер није потребно обрађивати све класе.
• Омогућава тренирање модела са огромним бројем класа, што би било немогуће са потпуним softmax-ом због ограничења меморије и времена.

Пример: ако имате 1 милион класа и sampled softmax узима 100 негативних примера, израчунавања се обављају само за 101 класу уместо за милион, што пружа огромну предност у брзини и ресурсима.