O que é softmax hierárquico e onde é utilizado?

Softmax hierárquico é um método de otimização para calcular a função softmax em tarefas com um número muito grande de classes (por exemplo, palavras em um dicionário de PLN). Em vez de calcular a probabilidade de cada classe diretamente, as classes são organizadas numa árvore (hierarquia), e a probabilidade é calculada como o produto das probabilidades de transições na árvore do nó raiz até à folha.

Isto reduz significativamente a complexidade computacional de O(V), onde V é o tamanho do dicionário, para O(log V).

Aplicações incluem:

• Treinamento de modelos de linguagem com um grande vocabulário
• Representações vetoriais de palavras (word embeddings), por exemplo, no algoritmo word2vec
• Sistemas de pesquisa e recomendações, onde é necessário avaliar rapidamente a probabilidade de um grande número de opções.