Qu'est-ce que le softmax échantillonné et quel est son avantage en termes de calcul?

Sampled softmax — c’est une méthode approximative pour calculer la fonction softmax, utilisée dans des tâches avec un très grand nombre de classes (par exemple, dans les systèmes de recommandation ou les modèles linguistiques avec un vocabulaire énorme). Au lieu de calculer la distribution de probabilité complète sur toutes les classes, sampled softmax sélectionne un sous-échantillon aléatoire de classes négatives et calcule le softmax uniquement sur celles-ci et sur la classe positive (cible).

Avantages en termes de complexité de calcul :

• Réduction significative du nombre d’opérations de multiplication et d’exponentiation, car il n’est pas nécessaire de traiter toutes les classes.
• Permet d’entraîner des modèles avec un nombre énorme de classes, ce qui serait impossible avec un softmax complet en raison des limitations de mémoire et de temps.

Exemple : si vous avez 1 million de classes et que sampled softmax prend 100 exemples négatifs, les calculs ne se font que sur 101 classes au lieu d’un million, ce qui offre un gain énorme en vitesse et en ressources.