Nümunə softmax nədir və onun hesablamada üstünlüyü nədir?

Sampled softmax — bu təxminən metod olub, softmax funksiyasını hesablamaq üçün istifadə olunur, çox böyük sinf sayılarına malik tapşırıqlarda (məsələn, tövsiyə sistemlərində və ya böyük sözlüklü dil modellərində). Bütün sinflər üçün ehtimal paylamasını hesablamaq əvəzinə, sampled softmax təsadüfi olaraq mənfi sinflərin alt nümunəsini seçir və yalnız onlara və müsbət (hədəf) sinfə softmax hesablayır.

Hesablama mürəkkəbliyi baxımından üstünlüklər:

• Çoxlu vurma və eksponent əməliyyatlarının sayı əhəmiyyətli dərəcədə azalır, çünki bütün sinflər işlənməyə ehtiyac yoxdur.
• Yaddaş və vaxt məhdudiyyətləri səbəbindən tam softmax ilə mümkün olmayan, çox sayda sinfə malik modellərin öyrədilməsinə imkan verir.

Nümunə: əgər sizdə 1 milyon sinf varsa və sampled softmax 100 mənfi nümunə götürürsə, hesablamalar yalnız 101 sinf üçün həyata keçirilir, bu da sürət və resurslar baxımından böyük üstünlük təmin edir.