Sampled softmax nedir ve hesaplama açısından avantajı nedir?

Sampled softmax — çok büyük sayıda sınıf içeren görevlerde kullanılan yaklaşık bir softmax fonksiyonu hesaplama yöntemidir (örneğin, öneri sistemleri veya devasa sözlüğe sahip dil modellerinde). Tüm sınıflar için olasılık dağılımını hesaplamak yerine, sampled softmax rastgele bir negatif altküme seçer ve sadece bunlar ve pozitif (hedef) sınıf üzerinde softmax hesaplar.

Hesaplama karmaşıklığı açısından avantajlar:

• Çarpma ve üstel işlemlerin sayısını önemli ölçüde azaltır, çünkü tüm sınıflar işlenmek zorunda değildir.
• Bellek ve zaman kısıtlamaları nedeniyle tam softmax ile mümkün olmayan, çok sayıda sınıfa sahip modellerin eğitimine olanak tanır.

Örnek: 1 milyon sınıfınız varsa ve sampled softmax 100 negatif örnek alıyorsa, hesaplamalar sadece 101 sınıf üzerinde yapılır, bu da hız ve kaynak açısından büyük bir kazanç sağlar.