Τι είναι το sampled softmax και ποιο είναι το πλεονέκτημά του όσον αφορά τον υπολογισμό;

Sampled softmax — είναι μια προσεγγιστική μέθοδος για τον υπολογισμό της λειτουργίας softmax, που χρησιμοποιείται σε εργασίες με πολύ μεγάλο αριθμό κλάσεων (π.χ., σε συστήματα σύστασης ή μοντέλα γλώσσας με τεράστιο λεξιλόγιο). Αντί να υπολογίζει ολόκληρη την κατανομή πιθανοτήτων σε όλες τις κλάσεις, το sampled softmax επιλέγει τυχαία ένα υποσύνολο αρνητικών κλάσεων και υπολογίζει το softmax μόνο σε αυτές και στην θετική (στόχο) κλάση.

Οφέλη όσον αφορά τη μαθηματική πολυπλοκότητα:

• Μειώνει σημαντικά τον αριθμό των πολλαπλασιασμών και των εκθετικών λειτουργιών, καθώς δεν χρειάζεται να επεξεργάζεται όλες τις κλάσεις.
• Επιτρέπει την εκπαίδευση μοντέλων με τεράστιο αριθμό κλάσεων, κάτι που θα ήταν αδύνατο με το πλήρες softmax λόγω περιορισμών μνήμης και χρόνου.

Παράδειγμα: αν έχετε 1 εκατομμύριο κλάσεις και το sampled softmax παίρνει 100 αρνητικά παραδείγματα, οι υπολογισμοί πραγματοποιούνται μόνο σε 101 κλάσεις αντί για ένα εκατομμύριο, προσφέροντας τεράστια ταχύτητα και εξοικονόμηση πόρων.