Mis on sampled softmax ja milline on selle eelis arvutamisel?

Sampled softmax — see on ligika lähedus meetod softmax funktsiooni arvutamiseks, mida kasutatakse ülesannetes väga suure klasside arvu korral (näiteks soovitussüsteemides või keelemudelites suure sõnastikuga). Selle asemel, et arvutada kogu tõenäosusjaotus kõigi klasside kohta, valib sampled softmax juhuslikult negatiivsete klasside alamkogu ja arvutab softmax ainult nende ja positiivse (siht)klassi kohta.

Arvutusliku keerukuse eelised:

• oluliselt vähendab korrutuste ja eksponentide arvukust, kuna ei ole vaja töödelda kõiki klasse.
• võimaldab treenida mudeleid suure klasside arvuga, mis oleks võimatu täieliku softmaxiga mälupiirangute ja aja tõttu.

Näide: kui teil on 1 miljon klassi ja sampled softmax võtab 100 negatiivset näidet, toimuvad arvutused ainult 101 klassi kohta, mitte miljonit, mis pakub märkimisväärset kiiruse ja ressursside kokkuhoidu.