Wat is hiërarchische softmax en waar wordt het gebruikt?

Hiërarchische softmax is een optimalisatiemethode voor het berekenen van de softmax-functie bij taken met een zeer groot aantal klassen (bijvoorbeeld woorden in een NLP-woordenboek). In plaats van de waarschijnlijkheid voor elke klasse direct te berekenen, worden de klassen georganiseerd in een boom (hiërarchie), en wordt de waarschijnlijkheid berekend als het product van de overgangswaarschijnlijkheden in de boom van de wortel tot het blad.

Dit vermindert de computationele complexiteit aanzienlijk van O(V), waarbij V de grootte van het woordenboek is, tot O(log V).

Toepassingen omvatten:

• Training van taalmodellen met een grote woordenschat
• Vectorrepresentaties van woorden (word embeddings), bijvoorbeeld in het word2vec-algoritme
• Zoek- en aanbevelingssystemen, waar snel de waarschijnlijkheid van een groot aantal opties moet worden beoordeeld.