Czym jest sampled softmax i jaka jest jego przewaga pod względem obliczeń?

Sampled softmax — to przybliżona metoda obliczania funkcji softmax, używana w zadaniach z bardzo dużą liczbą klas (np. w systemach rekomendacyjnych lub modelach językowych z ogromnym słownikiem). Zamiast obliczać pełny rozkład prawdopodobieństwa dla wszystkich klas, sampled softmax wybiera losową podpróbkę klas negatywnych i oblicza softmax tylko dla nich i dla klasy pozytywnej (celu).

Korzyści pod względem złożoności obliczeniowej:

• Znacznie zmniejsza liczbę operacji mnożenia i potęgowania, ponieważ nie trzeba przetwarzać wszystkich klas.
• Umożliwia trenowanie modeli z ogromną liczbą klas, co byłoby niemożliwe przy pełnym softmax ze względu na ograniczenia pamięci i czasu.

Przykład: jeśli masz 1 milion klas, a sampled softmax bierze 100 przykładów negatywnych, obliczenia odbywają się tylko dla 101 klas zamiast miliona, co daje ogromną oszczędność czasu i zasobów.