Какво е sampled softmax и какво е предимството му по отношение на изчисленията?

Sampled softmax — това е приближен метод за изчисляване на функцията softmax, използван при задачи с много голям брой класове (например, в системи за препоръки или езикови модели с огромен речник). Вместо да изчислява пълното разпределение на вероятностите за всички класове, sampled softmax избира случайна подвыборка от негативни класове и изчислява softmax само за тях и за положителния (целеви) клас.

Предимства по отношение на изчислителната сложност:

• Значително се намалява броят на операциите за умножение и експоненциране, тъй като не е необходимо да се обработват всички класове.
• Позволява обучението на модели с огромен брой класове, което е невъзможно при пълния softmax поради ограничения в паметта и времето.

Пример: ако имате 1 милион класа и sampled softmax взема 100 негативни примера, изчисленията се извършват само за 101 класа вместо за милион, което осигурява голяма скорост и спестяване на ресурси.