Kas ir hierarhiskais softmax un kur tas tiek izmantots?

Hierarhiskais softmax ir ir optimizācijas metode, kas paredzēta, lai aprēķinātu softmax funkciju ar ļoti lielu klases skaitu (piemēram, vārdnīcā NLP). Tā vietā, lai tieši aprēķinātu katras klases varbūtību, klases tiek organizētas kokā (hierarhijā), un varbūtība tiek aprēķināta kā pāreju varbūtību reizinājums pa koku no saknes līdz lapai.

Tas ievērojami samazina aprēķinu sarežģītību no O(V), kur V ir vārdnīcas lielums, uz O(log V).

Pielietojums:

• Lielu vārdnīcu valodas modeļu apmācībā
• Vārdu vektoru reprezentācijās (word embeddings), piemēram, word2vec algoritmā
• Meklēšanas un ieteikumu sistēmās, kur nepieciešams ātri novērtēt lielu iespēju skaitu.