Kas yra sampled softmax ir kuo jis naudingas skaičiavimui?

Sampled softmax — tai apytikslis metodas softmax funkcijai skaičiuoti, naudojamas užduotyse su labai dideliu klasių skaičiumi (pavyzdžiui, rekomendacijų sistemose arba kalbos modeliuose su milžinišku žodynu). Vietoj to, kad skaičiuotų viso klasių tikimybių pasiskirstymą, sampled softmax atsitiktinai pasirenka nedidelį neigiamų klasių pogrupį ir skaičiuoja softmax tik jiems ir teigiamai (tikslo) klasei.

Pranašumai skaičiavimo sudėtingumo požiūriu:

• žymiai sumažina daugybos ir eksponentinių operacijų skaičių, nes nereikia apdoroti visų klasių.
• leidžia treniruoti modelius su milžinišku klasių skaičiumi, kas būtų neįmanoma su pilnu softmax dėl atminties ir laiko apribojimų.

Pavyzdys: jei turite 1 milijoną klasių ir sampled softmax paima 100 neigiamų pavyzdžių, skaičiavimai vyksta tik 101 klasėje vietoj milijono, kas suteikia didelį greičio ir išteklių taupymą.