Ce este softmax-ul ierarhic și unde este utilizat?

Softmax ierarhic este o metodă de optimizare pentru calcularea funcției softmax în sarcini cu un număr foarte mare de clase (de exemplu, cuvinte dintr-un dicționar NLP). În loc să calculeze probabilitatea pentru fiecare clasă direct, clasele sunt organizate într-un arbore (ierarhie), iar probabilitatea este calculată ca produsul probabilităților de tranziție în arbore de la rădăcină la frunză.

Aceasta reduce semnificativ complexitatea computațională de la O(V), unde V este dimensiunea dicționarului, la O(log V).

Se aplică în:

• Antrenarea modelelor lingvistice cu vocabular mare
• Reprezentări vectoriale ale cuvintelor (word embeddings), de exemplu, în algoritmul word2vec
• Sistemele de căutare și recomandare, unde trebuie evaluată rapid probabilitatea unui număr mare de opțiuni.