Sampled softmax nima va uning hisoblashdagi foydasi nima?

Sampled softmax — bu taxminiy usul bo‘lib, softmax funksiyasini hisoblash uchun ishlatiladi, juda katta sinflar soniga ega vazifalarda (masalan, tavsiya qilish tizimlari yoki katta lug‘atga ega til modellari). To‘liq ehtimollik taqsimotini barcha sinflar bo‘yicha hisoblash o‘rniga, sampled softmax tasodifiy tarzda salbiy sinflar kichik to‘plamini tanlaydi va faqat ular va ijobiy (maqsad) sinf bo‘yicha softmaxni hisoblaydi.

Hisoblash murakkabligi bo‘yicha foydalar:

• Ko‘p operatsiyalar, ya’ni ko‘paytirish va eksponentlash operatsiyalarining soni sezilarli darajada kamayadi, chunki barcha sinflar bilan ishlash shart emas.
• Xotira va vaqt cheklovlari sababli to‘liq softmax bilan mumkin bo‘lmagan, juda katta sinflar soniga ega modellarni o‘qitishga imkon beradi.

Misol: agar sizda 1 million sinf bo‘lsa va sampled softmax 100 salbiy misol oladigan bo‘lsa, hisoblashlar faqat 101 sinf uchun amalga oshiriladi, bu esa tezlik va resurslar bo‘yicha katta foyda keltiradi.