Mis on hierarhiline softmax ja kus seda kasutatakse?

Hierarchical softmax on optimeerimismeetod, mida kasutatakse softmax-funktsiooni arvutamisel ülesannete jaoks, kus klasside arv on väga suur (näiteks NLP sõnastikus olevad sõnad). Selle asemel, et arvutada iga klassi tõenäosus otse, korraldatakse klassid puu (hierarhia) kujul ning tõenäosus arvutatakse kui tõenäosuste korrutis puu kaudu juurest leheni.

See oluliselt vähendab arvutuslikku keerukust V suuruse sõnastiku puhul O(V)-lt O(log V)-le.

Rakendused:

• Suure sõnastikuga keelemudelite treenimine
• Sõnade vektorrepresentatsioonid (word embeddings), näiteks word2vec algoritmis
• Otsingusüsteemid ja soovitussüsteemid, kus on vaja kiiresti hinnata suure arvu võimaluste tõenäosust.