Czym jest softmax hierarchiczny i gdzie jest używany?

Hierarchiczny softmax to metoda optymalizacji obliczania funkcji softmax dla zadań z bardzo dużą liczbą klas (np. słów w słowniku NLP). Zamiast obliczać prawdopodobieństwo dla każdej klasy bezpośrednio, klasy są organizowane w drzewo (hierarchię), a prawdopodobieństwo oblicza się jako iloczyn prawdopodobieństw przejść w drzewie od korzenia do liścia.

To znacznie zmniejsza złożoność obliczeniową z O(V), gdzie V to rozmiar słownika, do O(log V).

Stosuje się w:

• Trenowaniu modeli językowych z dużym słownikiem
• Wektorowych reprezentacjach słów (word embeddings), np. w algorytmie word2vec
• Systemach wyszukiwania i rekomendacji, gdzie trzeba szybko ocenić prawdopodobieństwo dużej liczby opcji.