¿Qué es softmax jerárquico y dónde se utiliza?

Softmax jerárquico es un método de optimización para calcular la función softmax en tareas con un número muy grande de clases (por ejemplo, palabras en un diccionario de PLN). En lugar de calcular la probabilidad para cada clase directamente, las clases se organizan en un árbol (jerarquía), y la probabilidad se calcula como el producto de las probabilidades de las transiciones en el árbol desde la raíz hasta la hoja.

Esto reduce significativamente la complejidad computacional de O(V), donde V es el tamaño del diccionario, a O(log V).

Se aplica en:

• Entrenamiento de modelos de lenguaje con diccionarios grandes
• Representaciones vectoriales de palabras (word embeddings), por ejemplo, en el algoritmo word2vec
• Sistemas de búsqueda y recomendaciones, donde es necesario evaluar rápidamente la probabilidad de un gran número de opciones.