Cos'è il softmax campionato e qual è il suo vantaggio in termini di calcolo?

Sampled softmax — è un metodo approssimativo per calcolare la funzione softmax, utilizzato in compiti con un numero molto grande di classi (ad esempio, nei sistemi di raccomandazione o nei modelli linguistici con un vocabolario enorme). Invece di calcolare la distribuzione di probabilità completa su tutte le classi, sampled softmax seleziona un sottoinsieme casuale di classi negative e calcola il softmax solo su di esse e sulla classe positiva (obiettivo).

Vantaggi in termini di complessità computazionale:

• Si riduce significativamente il numero di operazioni di moltiplicazione ed esponenziazione, poiché non è necessario elaborare tutte le classi.
• Permette di addestrare modelli con un numero enorme di classi, cosa impossibile con softmax completo a causa di limiti di memoria e tempo.

Esempio: se hai 1 milione di classi e sampled softmax prende 100 esempi negativi, i calcoli vengono effettuati solo su 101 classi invece che su un milione, offrendo un enorme vantaggio in velocità e risorse.