Что такое hierarchical softmax и где он используется?

Hierarchical softmax — это метод оптимизации вычисления функции softmax для задач с очень большим числом классов (например, слов в словаре NLP). Вместо вычисления вероятности для каждого класса напрямую, классы организуются в дерево (иерархию), и вероятность вычисляется как произведение вероятностей переходов по дереву от корня к листу.

Это значительно снижает вычислительную сложность с O(V), где V — размер словаря, до O(log V).

Применяется в:

• Обучении языковых моделей с большим словарём
• Векторных представлениях слов (word embeddings), например, в алгоритме word2vec
• Поисковых системах и рекомендациях, где нужно быстро оценивать вероятность большого числа вариантов.