¿Qué es el softmax muestreado y cuál es su ventaja en términos de cálculo?

Sampled softmax — es un método aproximado para calcular la función softmax, utilizado en tareas con un número muy grande de clases (por ejemplo, en sistemas de recomendación o modelos de lenguaje con un vocabulario enorme). En lugar de calcular toda la distribución de probabilidad sobre todas las clases, sampled softmax selecciona una submuestra aleatoria de clases negativas y calcula el softmax solo sobre ellas y sobre la clase positiva (objetivo).

Ventajas en términos de complejidad computacional:

• Se reduce significativamente la cantidad de operaciones de multiplicación y exponenciación, ya que no es necesario procesar todas las clases.
• Permite entrenar modelos con un número enorme de clases, lo cual sería imposible con softmax completo debido a limitaciones de memoria y tiempo.

Ejemplo: si tienes 1 millón de clases y sampled softmax toma 100 ejemplos negativos, los cálculos se realizan solo sobre 101 clases en lugar de un millón, lo que proporciona una gran ganancia en velocidad y recursos.