Co je sampled softmax a jaká je jeho výhoda z hlediska výpočtu?

Sampled softmax — je přibližná metoda výpočtu funkce softmax, používaná u úloh s velmi velkým počtem tříd (například v doporučovacích systémech nebo jazykových modelech s obrovským slovníkem). Místo výpočtu úplného rozdělení pravděpodobností přes všechny třídy vybírá sampled softmax náhodně podmnožinu negativních tříd a počítá softmax pouze přes ně a přes kladnou (cílovou) třídu.

Výhody z hlediska výpočetní složitosti:

• Výrazně se snižuje počet operací násobení a exponenciace, protože není třeba zpracovávat všechny třídy.
• Umožňuje trénovat modely s obrovským počtem tříd, což by s úplným softmaxem bylo nemožné kvůli omezením paměti a času.

Příklad: pokud máte 1 milion tříd a sampled softmax vezme 100 negativních příkladů, výpočty probíhají pouze přes 101 tříd místo milionu, což přináší obrovskou výhodu v rychlosti a zdrojích.