Was ist sampled softmax und was ist sein Vorteil bei der Berechnung?

Sampled softmax — ist eine approximative Methode zur Berechnung der Softmax-Funktion, die bei Aufgaben mit einer sehr großen Anzahl von Klassen verwendet wird (z.B. in Empfehlungssystemen oder Sprachmodellen mit großem Vokabular). Anstatt die vollständige Wahrscheinlichkeitsverteilung über alle Klassen zu berechnen, wählt sampled softmax eine zufällige Teilmenge negativer Klassen aus und berechnet die Softmax nur für diese und die positive (Ziel-)Klasse.

Vorteile hinsichtlich der Rechenkomplexität:

• Die Anzahl der Multiplikations- und Exponentialoperationen wird erheblich reduziert, da nicht alle Klassen verarbeitet werden müssen.
• Ermöglicht das Training von Modellen mit einer enormen Anzahl von Klassen, was mit vollständigem Softmax aufgrund von Speicher- und Zeitbeschränkungen unmöglich wäre.

Beispiel: Wenn Sie 1 Million Klassen haben und sampled softmax 100 negative Beispiele nimmt, erfolgen die Berechnungen nur für 101 Klassen anstelle von einer Million, was einen enormen Geschwindigkeits- und Ressourcengewinn bringt.