Softmax намунавӣ чист ва дар чӣ бартарӣ дар ҳисоббарорӣ дорад?

Sampled softmax — як метод наближення для обчислення функції softmax, який використовується у задачах з дуже великим числом класів (наприклад, у системах рекомендацій або мовних моделях з величезним словником). Замість обчислення повного розподілу ймовірностей по всім класам, sampled softmax випадковим чином вибирає підмножину негативних класів і обчислює softmax лише по ним і по позитивному (цільовому) класу.

Переваги з точки зору обчислювальної складності:

• Значно зменшує кількість операцій множення і експоненціювання, оскільки не потрібно обробляти всі класи.
• Дозволяє тренувати моделі з величезною кількістю класів, що було б неможливо при повному softmax через обмеження пам’яті і часу.

Приклад: якщо у вас 1 мільйон класів, а sampled softmax бере 100 негативних прикладів, то обчислення відбуваються лише по 101 класу замість мільйона, що дає величезну перевагу за швидкодією і ресурсами.