Что такое sampled softmax и в чём его выигрыш по compute?

Sampled softmax — это приближённый метод вычисления функции softmax, используемый в задачах с очень большим числом классов (например, в рекомендательных системах или языковых моделях с огромным словарём). Вместо того чтобы вычислять полное распределение вероятностей по всем классам, sampled softmax выбирает случайную подвыборку негативных классов и вычисляет softmax только по ним и по положительному (целевому) классу.

Выгоды по вычислительной сложности:

• Значительно сокращается количество операций умножения и экспонент, так как не нужно обрабатывать все классы.
• Позволяет обучать модели с огромным числом классов, что было бы невозможно при полном softmax из-за ограничений по памяти и времени.

Пример: если у вас 1 миллион классов, а sampled softmax берёт 100 негативных примеров, то вычисления происходят только по 101 классу вместо миллиона, что даёт огромный выигрыш по скорости и ресурсам.