Wat is sampled softmax en wat is het voordeel ervan qua berekening?

Sampled softmax — is een benaderde methode voor het berekenen van de softmax-functie, gebruikt bij taken met een zeer groot aantal klassen (bijvoorbeeld in aanbevelingssystemen of taalmodellen met een enorme woordenschat). In plaats van de volledige waarschijnlijkheidsverdeling over alle klassen te berekenen, selecteert sampled softmax een willekeurige submonsters van negatieve klassen en berekent de softmax alleen over deze en de positieve (doel)klasse.

Voordelen qua computationele complexiteit:

• Het aantal multiplicatie- en exponentiatiewerkzaamheden wordt aanzienlijk verminderd, omdat niet alle klassen hoeven te worden verwerkt.
• Het maakt het mogelijk om modellen te trainen met een enorm aantal klassen, wat met volledige softmax onmogelijk zou zijn vanwege geheugen- en tijdslimieten.

Voorbeeld: als je 1 miljoen klassen hebt en sampled softmax neemt 100 negatieve voorbeelden, worden de berekeningen alleen uitgevoerd over 101 klassen in plaats van een miljoen, wat een enorme snelheids- en resourcewinst oplevert.