Čo je hierarchický softmax a kde sa používa?

Hierarchický softmax je metóda optimalizácie na výpočet funkcie softmax pre úlohy s veľmi veľkým počtom tried (napríklad slovník v NLP). Namiesto priameho výpočtu pravdepodobnosti pre každú triedu sa triedy organizujú do stromu (hierarchie) a pravdepodobnosť sa počíta ako súčin pravdepodobností prechodov v strome od koreňa k listu.

Toto výrazne znižuje výpočtovú zložitosť z O(V), kde V je veľkosť slovníka, na O(log V).

Používa sa v:

• Tréningu jazykových modelov s veľkým slovníkom
• Vektorových reprezentáciách slov (word embeddings), napríklad v algoritme word2vec
• Vyhľadávacích systémoch a odporúčacích systémoch, kde je potrebné rýchlo odhadnúť pravdepodobnosť veľkého počtu možností.