O que é softmax amostrado e qual é a sua vantagem em termos de cálculo?

Sampled softmax — é um método aproximado para calcular a função softmax, usado em tarefas com um número muito grande de classes (por exemplo, em sistemas de recomendação ou modelos de linguagem com um vocabulário enorme). Em vez de calcular toda a distribuição de probabilidade sobre todas as classes, sampled softmax seleciona uma subamostra aleatória de classes negativas e calcula o softmax apenas sobre elas e sobre a classe positiva (objetivo).

Vantagens em termos de complexidade computacional:

• Reduz significativamente o número de operações de multiplicação e exponenciação, pois não é necessário processar todas as classes.
• Permite treinar modelos com um número enorme de classes, o que seria impossível com softmax completo devido a limitações de memória e tempo.

Exemplo: se você tem 1 milhão de classes e sampled softmax pega 100 exemplos negativos, os cálculos são feitos apenas sobre 101 classes em vez de um milhão, o que proporciona uma grande vantagem em velocidade e recursos.