Ի՞նչ է hierarchical softmax-ը և որտեղ է այն օգտագործվում:

Հիերարխիկ softmax-ը օպտիմալացման մեթոդ է՝ softmax ֆունկցիայի հաշվարկման համար շատ մեծ դասարանների խնդիրների համար (օրինակ՝ NLP բառարանի բառեր): Փոխարենը, որ հաշվարկել յուրաքանչյուր դասարանի հավանականությունը ուղիղ, դասարանները կազմակերպվում են ծառի (հիերարխիա) մեջ, և հավանականությունը հաշվարկվում է որպես անցումների հավանականությունների արտադրյալ ծառի միջով՝ արմատից մինչև տերև:

Այսպիսով, հաշվարկային բարդությունը զգալիորեն նվազում է՝ O(V)-ից, որտեղ V բառարանի չափն է, մինչև O(log V):

Դա կիրառվում է՝

• մեծ բառարանով լեզվական մոդելների ուսուցման ժամանակ
• բառերի վեկտորային ներկայացումներում (word embeddings), օրինակ՝ word2vec ալգորիթմում
• որոնողական համակարգերում և առաջարկությունների համակարգերում, որտեղ անհրաժեշտ է արագ գնահատել մեծ թվով տարբերակների հավանականությունը։