Was ist hierarchisches Softmax und wo wird es verwendet?

Hierarchisches Softmax ist eine Optimierungsmethode zur Berechnung der Softmax-Funktion bei Aufgaben mit einer sehr großen Anzahl von Klassen (z.B. Wörter im NLP-Wörterbuch). Anstatt die Wahrscheinlichkeit für jede Klasse direkt zu berechnen, werden die Klassen in einem Baum (Hierarchie) organisiert, und die Wahrscheinlichkeit wird als Produkt der Übergangswahrscheinlichkeiten im Baum vom Wurzelknoten bis zum Blatt berechnet.

Dies reduziert die rechnerische Komplexität erheblich von O(V), wobei V die Größe des Wörterbuchs ist, auf O(log V).

Anwendungen finden sich in:

• Das Training von Sprachmodellen mit großem Vokabular
• Wortvektorrepräsentationen (Word Embeddings), z.B. im Algorithmus word2vec
• Suchmaschinen und Empfehlungssysteme, bei denen die Wahrscheinlichkeit einer großen Anzahl von Optionen schnell bewertet werden muss.