Ce este softmax-ul eșantionat și care este avantajul său în ceea ce privește calculul?

Sampled softmax — este o metodă aproximativă pentru calcularea funcției softmax, utilizată în sarcini cu un număr foarte mare de clase (de exemplu, în sistemele de recomandare sau modelele lingvistice cu un vocabular uriaș). În loc să calculeze distribuția completă de probabilitate pentru toate clasele, sampled softmax selectează o sub-eșantionare aleatorie de clase negative și calculează softmax doar pentru acestea și pentru clasa pozitivă (țintă).

Beneficii în ceea ce privește complexitatea computațională:

• Se reduce semnificativ numărul de operații de multiplicare și exponentiere, deoarece nu este necesar să se proceseze toate clasele.
• Permite antrenarea modelelor cu un număr uriaș de clase, ceea ce ar fi imposibil cu softmax complet din cauza limitărilor de memorie și timp.

Exemplu: dacă aveți 1 milion de clase și sampled softmax ia 100 de exemple negative, calculele se fac doar pentru 101 clase în loc de un milion, ceea ce oferă un câștig enorm în viteză și resurse.