Mi az a sampled softmax, és mi az előnye a számítás szempontjából?

Sampled softmax — ez egy közelítő módszer a softmax függvény kiszámítására, amelyet nagyon nagy osztályszámú feladatoknál használnak (például ajánlórendszerekben vagy hatalmas szókincset tartalmazó nyelvi modelleknél). Ahelyett, hogy az összes osztályra teljes valószínűségi eloszlást számítanánk ki, a sampled softmax véletlenszerűen kiválaszt egy negatív osztályokból álló mintát, és csak ezekre és a pozitív (cél) osztályra számít softmaxot.

Számítási összetettség szempontjából előnyök:

• Jelentősen csökkenti a szorzás és exponenciális műveletek számát, mivel nem kell az összes osztállyal foglalkozni.
• Lehetővé teszi olyan modellek tanítását, amelyek hatalmas osztályszámúak, ami a teljes softmax esetén memória- és időkorlátok miatt nem lenne lehetséges.

Példa: ha 1 millió osztályod van, és a sampled softmax 100 negatív példát vesz, akkor a számítások csak 101 osztályra történnek a millió helyett, ami hatalmas gyorsulást és erőforrás-megtakarítást eredményez.