რა არის sampled softmax და რა სარგებელი აქვს მისი გამოთვლით?

Sampled softmax — ეს არის ახლოს მყოფი მეთოდი softmax ფუნქციის გამოთვლისთვის, რომელიც გამოიყენება ძალიან დიდ კლასებს შორის დავალებებში (მაგალითად, რეკომენდაციული სისტემებში ან ენათმეცნიერების მოდელებში უზარმაზარი ლექსიკონით). ნაცვლად იმისა, რომ გამოთვალოს სრული განაწილება ყველა კლასზე, sampled softmax შემთხვევით აირჩევს ნეგატიურ კლასებს და გამოთვლის მხოლოდ მათზე და დადებით (მიზნობრივ) კლასზე.

გამოთვლითი სირთულეების უპირატესობები:

• მნიშვნელოვნად მცირდება მრავლობის და ექსპონენცირების ოპერაციების რაოდენობა, რადგან ყველა კლასი არ არის საჭირო დამუშავება.
• საშუალებას აძლევს ტრენინგს უზარმაზარი კლასების მქონე მოდელების, რაც სრული softmax-ის შემთხვევაში შეუძლებელი იქნებოდა მეხსიერებისა და დროის შეზღუდვების გამო.

მაგალითი: თუ გაქვთ 1 მილიონი კლასი და sampled softmax იღებს 100 ნეგატიურ მაგალითს, გამოთვლები ხორციელდება მხოლოდ 101 კლასზე, რაც დიდ სიჩქარეს და რესურსების დაზოგვას იწვევს.