Kas ir sampled softmax un kāda ir tā priekšrocība salīdzinājumā ar aprēķinu?

Sampled softmax — ir tuvaļķa metode softmax funkcijas aprēķināšanai, kas tiek izmantota uzdevumos ar ļoti lielu klašu skaitu (piemēram, rekomendēšanas sistēmās vai valodu modeļos ar milzīgu vārdu krājumu). Tā vietā, lai aprēķinātu pilnu varbūtības sadalījumu visām klasēm, sampled softmax nejauši izvēlas nelielu negatīvo klašu apakškopu un aprēķina softmax tikai par tām un pozitīvo (mērķa) klasi.

Priekšrocības saistībā ar aprēķinu sarežģītību:

• būtiski samazina reizinājumu un eksponenciālo operāciju skaitu, jo nav nepieciešams apstrādāt visas klases.
• ļauj apmācīt modeļus ar milzīgu klašu skaitu, kas būtu neiespējami ar pilnu softmax, ņemot vērā atmiņas un laika ierobežojumus.

Piemērs: ja jums ir 1 miljons klašu un sampled softmax ņem 100 negatīvus piemērus, aprēķini tiek veikti tikai 101 klasē, nevis miljonā, kas sniedz ievērojamu ātruma un resursu ietaupījumu.