Čo je sampled softmax a aké má výhody z hľadiska výpočtu?

Sampled softmax — je približná metóda výpočtu funkcie softmax, používaná pri úlohách s veľmi veľkým počtom tried (napríklad v odporúčacích systémoch alebo jazykových modeloch s obrovským slovníkom). Namiesto výpočtu úplného rozdelenia pravdepodobností pre všetky triedy, sampled softmax náhodne vyberie podmnožinu negatívnych tried a vypočíta softmax iba pre ne a pre pozitívnu (cieľovú) triedu.

Výhody z hľadiska výpočtovej zložitosti:

• Výrazne sa znižuje počet operácií násobenia a exponenciácie, pretože nie je potrebné spracovávať všetky triedy.
• Umožňuje trénovať modely s obrovským počtom tried, čo by s úplným softmaxom bolo nemožné kvôli obmedzeniam pamäti a času.

Príklad: ak máte 1 milión tried a sampled softmax vezme 100 negatívnych príkladov, výpočty prebiehajú iba pre 101 tried namiesto milióna, čo prináša veľkú rýchlosť a úsporu zdrojov.